Consegui resolver esse problema quando percebi que o subdomínio pop no servidor antigo tinha seu próprio endereço IP, também percebi que tinha que inserir isso como sua própria entrada no arquivo hosts, parece que o arquivo hosts não Para redirecionar automaticamente os subdomínios, é necessário que você insira cada subdomínio individualmente.
O arquivo host final ficou assim:
123.12.123.1 domain.com
123.12.123.5 pop.domain.com
Também pode ser possível inserir apenas o endereço IP do subdomínio pop em seu cliente de e-mail, mas ainda não tentei isso.