Você precisa descobrir qual "agente chave" está ativado e desativá-lo. Como você não mencionou qual sabor de distribuição do Linux (Ubuntu?) Nem qual desktop (Gnome?) Você está usando, é difícil fornecer uma resposta clara.
Se você estiver usando o Gnome / Unity para desktop, desative o suporte ao Gnome Keyring SSh. Isso pode ser feito solicitando ao aplicativo Startup Applications
que permite que você configure os aplicativos executados no login. Ele deve ter uma entrada como "SSH Key Agent", apenas desmarque-o, efetue logout e faça login novamente.
Técnica semelhante aplica-se a diferentes distros e / ou computadores.
Nota: em algumas versões anteriores do Ubuntu, esta entrada pode estar oculta, veja este post para mostrá-lo .