Sim. Você apenas vai depender de bibliotecas dinâmicas, caso tenha usado alguma (.so / .dll).
O GHC compila o seu código e gera um .exe que contempla o seu código junto com o runtime system (RTS) deles, que é um pequeno monstro feito em C. Neste RTS é que está todo o controle de threads, thunks, etc. Se quiser ver os fontes do RTS:
http://hackage.haskell.org/trac/ghc/browser/rts
Esse .exe "free-to-go" é uma grande vantagem na minha opinião. Eu, que trabalho com Java, acho um pé no saco ter que instalar a JRE para poder rodar as coisas.
O único problema de gerar um binário, é que você fica preso à plataforma que está compilando. O GHC não suporta gerar binário para outras plataformas além da sua. Isto é, do Windows você não consegue gerar binários Linux. E outras tretas com 32bits/64bits.