Dedicado == hardware dedicado, você tem controle total sobre qual sistema operacional é usado e como ele é configurado.
Root == algum servidor em que você tenha acesso root. Você não tem necessariamente controle total sobre o sistema operacional que está sendo executado.
Eu não ligo para o termo "servidor raiz", no entanto. Você normalmente só ouve iniciantes usando o termo. Há termos mais precisos que devem ser usados ao se referir a servidores, máquinas virtuais, por exemplo.