Depois de executar:
VBoxManage startvm "vmname" --type headless
O seguinte comando deve pedir a senha:
VBoxManage controlvm "vmname" addencpassword "identifier" -
O comando usa o identificador visível à esquerda da caixa de texto de entrada de senha quando você inicia o convidado normalmente com uma janela. O hífen no final faz com que a solicitação da senha seja exibida na janela de comando.