O Firefox 4 mudou para usar a renderização de hardware para melhorar o desempenho, e é provavelmente essa alteração que está quebrando sua visão do Firefox sobre o RDP.
Há uma página no link que informa como desativar a aceleração de hardware, por isso pode valer a pena dando uma chance primeiro.
Você pode ter que fechar e reabrir o Firefox para que a alteração entre em vigor.