Você provavelmente precisará dizer ao Molden onde encontrar o servidor X, configurando a variável DISPLAY, por exemplo:
DISPLAY=:0 molden "nameofthefile"
(Você normalmente não precisa fazer isso no Linux, porque os terminais Linux são eles próprios clientes X, portanto a variável DISPLAY já está configurada. Esse não é o caso do terminal Cygwin.)