Não. Não é possível com o padrão ssh-agent . Cria também o arquivo em $TMPDIR/ssh-XXXXXXXXXX/agent.<ppid> , conforme observado na página de manual. É garantir que o soquete esteja seguro (não acessível apenas pelo usuário).
Mas você pode usar gnome-keyring . Eles criam socket em /run/user/1000/keyring/ssh , então ele fica em local seguro e usa o mesmo protocolo (comum nos desktops do Gnome).
O que você precisa para isso? Se você tiver o caminho na variável, você pode criar .bashrc para criar um link simbólico de seu local "conhecido" para o local real.