Isso é quase certamente um problema de permissão no lado do servidor. Supondo que você tenha alguma outra maneira de se conectar a ele (eu não saberia como você colou sua chave pública no caso contrário), verifique o arquivo de log sshd ( /var/log/auth.log , mas dependendo do seu arquivo de configuração).
O log deve apontar na direção certa, mas, em particular, você deve definir as permissões de ~ubuntu/.ssh no servidor como 700 com o proprietário ubuntu . Também podem ser as permissões dos arquivos em ~ubuntu/.ssh . Ou em /etc/ssh ou os arquivos lá (o que significaria outras contas no servidor devem ter os mesmos problemas de login ssh).