O que você está procurando é menos seguro, mas isso pode ser feito usando a autenticação de chave pública sem a necessidade do agente ssh. Uma opção mais segura é usar autenticação de chave pública com uma senha enquanto desativa a autenticação de senha no servidor ssh, mas isso não é o que você pediu. Veja o link na parte inferior desta resposta para obter instruções, se você decidir fazer isso.
Para usar o ssh sem receber nenhuma senha, você precisa gerar seu par de chaves enquanto deixa o campo de frase secreta em branco.
Para verificar se você já gerou um par de chaves, verifique os arquivos id_rsa e id_rsa.pub no seu diretório ~ / .ssh. Se eles já estiverem lá, você pode excluí-los ou movê-los para criar um novo par de chaves.
Observe que, se você excluí-los, perderá o acesso a todos os servidores ssh que estiver usando e às chaves antigas para autenticação, caso a autenticação de senha esteja desativada no servidor.
Para criar um novo par de chaves, execute o seguinte comando:
ssh-keygen -t rsa
Aceite o local padrão das chaves e deixe a frase secreta em branco.
Para fornecer sua chave pública ao servidor ssh ao qual você deseja se conectar, use o seguinte comando:
ssh-copy-id -i ~/.ssh/id_rsa.pub username@remotehost
Depois de concluir estas etapas, você poderá efetuar login no servidor remoto sem uma senha do computador que estiver usando.
Referência: link