Tente fazer login por meio do console e execute /sbin/services.sh restart
para reiniciar os serviços de gerenciamento.
Tente sua conexão com o cliente vSphere depois disso.
Eu tentei atualizar meu servidor de workshop do ESXi 5.1 para 5.5. Agora, ao tentar efetuar login usando o vSphere Client, ele não será conectado. Eu estou tentando se conectar diretamente ao endereço IP do servidor. Aqui estão alguns screenshots dos erros:
A resposta marcada como correta acima não está correta.
O cliente vSphere não é mais compatível com o Windows XP porque ele usa maiores intensidades de criptografia não disponíveis no Windows XP. Versões posteriores do Windows funcionarão, e há um hotfix disponível para máquinas servidoras com Windows 2003 que são prejudiciais a essa mudança.
Consulte: link