O VMRC 10 usa apenas o TLS 1.2 e eu sei que o ESXi 4.1 não gosta disso, mas o ESXi 5.5 não está certo: não tenho certeza sobre o ESXi 5.0. (VMRC 9 não tem esse problema.)
Adicione a seguinte linha a "C: \ ProgramData \ VMware \ Console remoto VMware \ config.ini" como um administrador para permitir que o VMRC 10 se conecte ao ESXi mais antigo:
tls.protocols=tls1.0,tls1.1,tls1.2