A sua unidade doméstica no servidor Ubuntu está criptografada?
Se sim, será descriptografado quando você fizer login na conta local. Quando você tentar e ssh antes de efetuar login localmente, o ssh não poderá ler seu arquivo ~username/.ssh/authorized_keys e solicitará sua senha.
Uma solução seria alterar o local que o ssh procura por authorized_keys. Como root, você pode editar o arquivo /etc/ssh/sshd_config e alterar a linha AuthorizedKeysFile .
Por exemplo, se você alterar para -
AuthorizedKeysFile /etc/ssh/authorized_keys.%u
copie o seu ~username/.ssh/authorized_keys para /etc/ssh/authorized_keys.username . O ssh poderá lê-lo sem fazer login na máquina localmente.