Sim, existem algumas desvantagens aqui. Você está usando autenticação sem senha para aumentar a segurança. Desde que dar senha será uma segunda porta para entrar no seu sistema. Então, na
/etc/ssh/sshd_config
PasswordAuthentication no RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys ChallengeResponseAuthentication no GSSAPIAuthentication no
Essas alterações só serão autenticadas com a chave pública, não solicitará a senha em nenhum caso. Este será um bom procedimento de segurança para proteger logins remotos.