Você precisaria deixar a frase secreta na chave ssh em branco ao criá-la. Dessa forma, você não precisará usar o ssh-agent. Claramente, há implicações de segurança dessa escolha - mas o ssh-agent sempre exigirá que você insira a frase secreta pela primeira vez se a chave estiver protegida.
Tecnicamente, você provavelmente poderia usar espera para passar uma frase-senha para ssh-agent a partir de um script - mas se você estiver preparado para colocar sua frase-senha em um script, você pode também apenas deixe em branco.
A maneira comum de melhorar a segurança se você seguir essa rota é permitir que a chave em questão acesse uma conta especificamente criada / restrita no outro servidor.