Resposta curta: você não pode.
Primeiro, é melhor esclarecer que um servidor da Web é diferente de um servidor de nomes. Dado o tópico geral da sua pergunta, acredito que você queira saber quantos sites estão sendo executados em um servidor compartilhado específico.
A única maneira de saber isso é perguntar ao proprietário do servidor.
Um servidor de nomes, em vez disso, mantém as zonas DNS. Normalmente, um servidor de nomes é uma máquina completamente diferente de um servidor web, mas eu não acho que esse seja o tópico desta questão, então estou pulando os detalhes aqui.
Para adivinhar o número de sites em execução em uma máquina específica, você poderia tentar pesquisar todos os nomes de host resolvendo o IP da máquina. Mas como esse serviço não é fornecido por nenhum servidor DNS, você precisará usar um serviço de terceiros. E o resultado não é preciso, porque você deve ter todos os nomes de host existentes resolvidos e armazenados, a fim de fornecer a lista de todos os domínios que apontam para esse IP.
Você pode executar a mesma análise em um domínio, mas, novamente, não há um serviço preciso. Os resultados seriam um palpite, pelo mesmo motivo acima.
Por último, mas não menos importante, mesmo supondo que haja um serviço que informe quantos nomes de host estão sendo resolvidos para essa máquina, a máquina pode ser um proxy de frontend ou um balanceador de carga. Nesse caso, você nunca saberá quantas máquinas estão fazendo esse cluster.
Então a resposta é que você não pode.