Aqui está minha tentativa de explicar as coisas:
I'm faceing the next problem and may
be its me, but I can't find proper
guides to set up a domain and
nameservers for a dedicated box.
Existem três entidades neste cenário. O registrador, o host DNS e o servidor de hospedagem. Whois.com é o seu registrador. Eles registraram o nome para você. Então você precisa de alguém para hospedar os registros DNS para você. Aparentemente, o Whois.com também faz isso para você (veja em "DNS Management").
I have a domain, at whois.com, and a
Dedicated server at Reliable Hosting
Services, the server has 5 IPs, I know
that I need 2 of them for the
nameservers.
Ok, legal. No entanto, você não precisa de dois desses 5 IPs para servidores de nomes. Whois.com já é seu host DNS. Então, quando você olha no seu painel de controle do whois.com DNS, você escolhe encaminhar seu domínio para o (s) IP (s) que deseja. Tecnicamente, você poderia encaminhar seu domínio registrado para os servidores da Microsoft.com, se quiser.
Right now, my domain at whois.com is
using nsX.whois.com nameservers
Excelente. Como deveria ser.
and it has 2 child nameservers:
ns1.mydomain.com & ns2.mydomain.com
pointing to those 2 IPs from my
Server.
Espere um minuto, isso não está certo. Tanto quanto eu posso dizer do seu cenário, você não está hospedando seus próprios servidores DNS. A menos que ns1.mydomain.com e ns2.mydomain.com sejam servidores DNS que você configurou executando o BIND ou algo assim. O que você quer é que o nsX.whois.com seja o seu servidor de nomes oficial. A partir daí, você cria registros como A, CNAME, TXT, o que quiser no painel de controle do whois.com. Por exemplo, um registro A que aponta para o IP do seu servidor de hospedagem confiável.
I still cannot set that domain as my
main server domain since it says:
To map an IP to a domain, the domain
must ping to the same IP, otherwise,
the domain will stop working. The
domain you are trying to map this IP
to, doesn't resolve back to the IP,
and so it cannot be set as the default
domain for the IP.
Qual sistema está dizendo esse erro? Console de gerenciamento de DNS do Whois.com ou Hosting Confiável? Mapear um IP para um domínio é um registro PTR. Por alguma razão, essa mensagem não faz sentido para mim.
Well and I'm stuck on those steps,
whats next to have my nameservers
working and my main domain assigned to
my server?
Independentemente de qualquer esquisitice que esteja acontecendo agora, você acaba querendo que seus servidores de nomes do Whois.com sejam autorizados e então criar registros no painel de controle de gerenciamento de DNS do Whois.com que apontam quaisquer registros que você tenha para o IP de sua confiança. Servidor de hospedagem.
Tudo ficará bem na terra.