Se você se conectar via HTTP sem um número de porta na URL, é a porta 80.
Se você se conectar via HTTPS sem um número de porta na URL, é a porta 443.
Editado para adicionar: Se você estiver veiculando vários sites por meio de vários nomes de host no mesmo endereço IP (às vezes chamado de hospedagem virtual), não poderá se conectar ao servidor por endereço IP, porque seu navegador (ou outro agente de usuário / cliente HTTP) não saberá qual nome de domínio deve ser fornecido no cabeçalho "Host:" da solicitação de HTTP, para que o servidor não saiba qual site de nome de domínio o atende.