Parece que o HeadlessVirtualbox é um servidor de área de trabalho remota. Tudo o que precisei fazer foi adicionar um sinalizador extra ao executar o cliente da Área de Trabalho Remota
Digitar mstsc /v:MY_HOST_IP:3390
no prompt de comando do Windows fez o truque para mim