Como eu poderia depurar o sshd levando vários minutos para começar?

Question

Eu uso uma VM com o encaminhamento ssh e X para executar determinados aplicativos. Ao iniciar a VM do VirtualBox, leva vários minutos para o ssh ficar on-line, mesmo que a máquina esteja no prompt de login do ambiente de área de trabalho rapidamente. A máquina não usa muitos recursos (CPU, rede) enquanto o sshd está iniciando.

Outras coisas que podem precisar entender o problema:

• O host é um sistema do Debian Buster (teste) executando OpenSSH_7.9p1 Debian-1, OpenSSL 1.1.1 11 Sep 2018
• Quando eu faço login no ambiente de área de trabalho, ele também leva um pouco, mas geralmente não vários minutos. Ele aceita meu login (ou me diz que eu digito) imediatamente e muda para uma tela em branco, mas demora um pouco para mostrar a área de trabalho real.
• Quando a área de trabalho é exibida e posso começar a depurar o problema, o problema desapareceu: o sshd funciona invariavelmente quando o ambiente da área de trabalho é carregado. Ambos parecem bloquear a mesma coisa.
• Enquanto o sshd ainda não está ativo, o sistema responde com "conexão recusada", isto é, ele pode alcançar o host e a porta, mas o sshd parece não estar ligado a ele.
• Também posso executar o ping no host, imediatamente a partir do momento em que a tela de inicialização é alterada para o prompt de login do ambiente de área de trabalho. O sistema parece totalmente pronto, exceto que o sshd não inicia (ou se liga à interface).

Mudar para um terminal virtual não funciona porque ele alterna para um terminal virtual do meu sistema host, mesmo que o teclado seja capturado. Eu poderia impedir que o env da área de trabalho inicializasse e obter um terminal imediatamente, mas eu só tenho um curto período de tempo (2-3 minutos eu diria), então eu teria que reinicializar após cada poucos comandos ou saber onde procurar, a fim para descobrir isso.

Como depurar esse problema de maneira eficaz? Existe uma causa provável que eu possa verificar?