É provavelmente iniciado para sua sessão do gnome. Para obter o id pai do seu agente ssh:
cat /proc/$SSH_AGENT_PID/status | fgrep PPid
Em seguida, use o número lá para ver o processo:
more /proc/<PPidNUMBER_FOUND>/status.
No Ubuntu 12.04 você encontra na primeira linha Name: gnome-session
Você provavelmente encontrará algo em /etc/X11
:
grep ssh-agent /etc/X11/*
resulta em:
/etc/X11/Xsession.options:use-ssh-agent
tente comentar isso no reinício do X