A sua unidade doméstica no servidor Ubuntu está criptografada?
Se sim, será descriptografado quando você fizer login na conta local. Quando você tentar e ssh antes de efetuar login localmente, o ssh não poderá ler seu arquivo ~username/.ssh/authorized_keys
e solicitará sua senha.
Uma solução seria alterar o local que o ssh procura por authorized_keys. Como root, você pode editar o arquivo /etc/ssh/sshd_config
e alterar a linha AuthorizedKeysFile
.
Por exemplo, se você alterar para -
AuthorizedKeysFile /etc/ssh/authorized_keys.%u
copie o seu ~username/.ssh/authorized_keys
para /etc/ssh/authorized_keys.username
. O ssh poderá lê-lo sem fazer login na máquina localmente.