Eu tenho o mesmo problema. OSX 10.7.4 NX Player 4.0.132. Conectando a um servidor CentOS-5 NX e abrindo uma sessão VNC para um instalador do CentOS-6. O NX Player estica a área de trabalho em vez de me mostrar mais da janela remota. Se eu escolher 'display 1: 1' no console do NX, ele encolherá a janela mais uma vez!
Eu atualizei para o Nomachine Player 4.0.181, atualizado em julho de 2012. O problema ainda existe, mas a rolagem foi aprimorada, portanto, é uma solução alternativa.