Resposta curta: O OpenSSH não suporta isso, mas versões modificadas, ou implementações alternativas de ferramentas relacionadas ao ssh, podem fazer isso.
Resposta mais longa:
O OpenSSH não faz isso pelas razões dadas na resposta de Chris Johnsen nesta página. No entanto, é possível obter esse comportamento no Linux usando o Gnome Keyring, que fornece seu próprio ssh-agent.
Na pergunta que eu postei, eu disse que achava que estava usando o Gnome Keyring (já que eu estava usando o Gnome), mas não estava. Eu tinha acabado de instalar o CentOS 5 e, nessa configuração, tenho certeza de que o daemon do agente ssh em execução era o do OpenSSH.
Eu tentei isso novamente com o Ubuntu 11.04, que definitivamente está usando o ssh-agent do Gnome Keyring. Nessa configuração, obtenho o comportamento procurado na questão.