Eu tive o mesmo problema após a atualização do 4.3.36 para o 5.1.26 no debian 9.
Estou usando a autenticação externa com "VBoxAuthSimple" executando a autenticação em relação às credenciais configuradas na seção "extradata" da VM.
Em 4.3.36 tudo funcionou bem, mas através do protocolo VNC.
Em 5.1.26, o protocolo RDP agora é usado e o problema é que os clientes gui, como o RDP padrão no Windows e o rdesktop padrão no debian, não permitem digitar a senha durante a conexão (janela com prompt de senha aparece após estabelecer conexão) e você tem um erro no log do vbox "módulo de autenticação externa retornado 'acesso negado'".
A autenticação nula funciona bem.
Solução: use o cli para passar usuário e senha simultaneamente
rdesktop-vrdp -u <user> -p <password> server:port
Para o Windows, salve o hash de senha no arquivo .rdp que você está usando para conexão ou você pode usar o cliente que permite a senha na configuração, por exemplo