Parece que o Gnome é o verdadeiro culpado aqui. Ou mais precisamente o chaveiro gnomo. Você já tentou o método sugerido aqui para desativar o ssh no chaveiro gnome? O link diz respeito ao chaveiro gnome no Ubuntu, mas a informação parece razoavelmente independente de distração.
O wiki do Arch Linux também tem uma boa descrição de isso:
Disable keyring daemon components
If you wish to run an alternative SSH agent (e.g. ssh-agent or gpg-agent, you need to disable the ssh component of GNOME Keyring. To do so in an account-local way:
#!/bin/sh
mkdir ~/.config/autostart
cp /etc/xdg/autostart/gnome-keyring-ssh.desktop ~/.config/autostart/ &&
printf '%s\n' 'Hidden=true' >> ~/.config/autostart/gnome-keyring-ssh.desktop