Muitas distribuições do Linux iniciarão o ssh-agent a partir do gerenciador de login por padrão. Então, tudo o que você precisa fazer é adicionar sua chave depois de iniciada.
Então você poderia simplesmente configurar um script de atalho ou algo assim para rodar o ssh-add assim que você logar. Como você faz isso depende do ambiente de área de trabalho que você está usando.
Você pode instalar ferramentas de GUI como x11-ssh-askpass
, então o prompt de senha é apresentado na GUI.
Você pode fazer as coisas com o PAM para solicitar uma senha ou simplesmente reutilize sua senha de login.
Cavalo-marinho ou outras carteiras de senha (1 ) ( 2 ) incorporado alguns ambientes de trabalho também devem funcionar. Eu não tenho ideia do porque está falhando por você. Você precisaria adicionar mais detalhes.