connection refused sugere que sshd não está em execução.
Pode ser apenas uma questão de tempo: quando o prompt de login aparecer no console, isso não garante que todos os serviços do sistema tenham concluído a inicialização ainda.
sshd também pode estar em espera no /dev/[u]random , especialmente se o sistema estiver localizado em um segmento de rede com muito pouco tráfego de rede. Nesse caso, o sistema tem muito poucas fontes de aleatoriedade real disponíveis e tem dificuldades em coletar bits verdadeiramente aleatórios suficientes para inicialmente distribuir o gerador de números aleatórios do kernel. O login no console do sistema fornecerá alguma aleatoriedade na forma dos bits mais baixos dos tempos de chamada de interrupção do teclado. Se o sistema tiver alguma forma de RNG de hardware, a ativação pode corrigir esse problema.
Para diagnosticar, basta digitar algumas linhas de absurdo no prompt de login do console sem realmente efetuar login. Se sshd responder normalmente depois disso, o kernel provavelmente ficou sem aleatoriedade e incapaz de propagar o kernel RNG, e isso causou a inicialização de sshd a ser atrasada.
Ou pode ser algum tipo de erro de dependência systemd que permite que sshd seja inicializado apenas quando os processos relacionados a login forem iniciados primeiro. Essa seria uma das razões porque o Debian Buster ainda é a distribuição testing : se esta for a causa, por favor envie um relatório de bug.