Sim, você precisa entrar em contato com o registrador e pedir que liste ns1.mydomain.com e ns2.mydomain.com como os servidores de nomes de seu domínio ( mydomain.com )
Dito isto, aconselho não ter todos os seus servidores de nomes apontando para o mesmo VPS. Se alguma coisa acontecer com esse VPS, todo o seu domínio será desativado. Você deve, no mínimo, obter um segundo VPS hospedado em um datacenter diferente para ns2.mydomain.com se precisar de qualquer tipo de redundância; Se você está apenas tentando montar algo para brincar e experimentar com o sistema DNS e como ele funciona, simplesmente divirta-se com o seu VPS:)