Acho que você não acessa o OMSA diretamente no host do ESXi. Eu acho que você precisa instalar o OMSA em uma máquina Windows e acessar o serviço OMSA no host a partir de lá: VMware ESXi 6 - OMSA- Instalação .
Editar: Para fazer isso em uma máquina que tenha componente de web service e nó gerenciado, ou seja, um servidor Dell físico com OMSA instalado, há uma boa impressão na página de login que é realmente um link que diz "Gerenciar nó remoto". Esse link levará você a uma página na qual você pode especificar o nome do IP ou do servidor do serviço da Web para se conectar ao IP do servidor ESXi. Não coloque o número da porta neste campo.
Observe que você pode instalar o OMSA mais recente em qualquer computador Windows e, se não for um servidor Dell, instalará apenas a parte web gui e sempre levará você diretamente para a página de login do nó remoto gerenciado com um campo para especificar qual IP / servername para se conectar.
Edit2: Você não precisa de um computador com Windows. Hoje, instalei o srvadmin-webserver do repositório Dell Linux em uma VM SLES11. Depois de iniciar o serviço, pude acessar https://sles11-ip:1311
remotamente. Digitei o endereço IP, o nome de usuário e a senha de um host ESXi, ativei ignorar os avisos de certificado e o OMSA conectado ao host. Eu precisava desabilitar o bloqueio no host para que ele funcionasse.