As seguintes instruções eventualmente trabalhou para mim. Aparentemente, o keyring do GNOME tem que ser explicitamente desativado para o SSH com:
mkdir ~/.config/autostart
cp /etc/xdg/autostart/gnome-keyring-ssh.desktop ~/.config/autostart
echo 'Hidden=true' >> ~/.config/autostart/gnome-keyring-ssh.desktop
E, em seguida, sair e entrar novamente.