ssh-add conecta-se ao agente em execução por meio de soquetes de domínio Unix. Variável de ambiente SSH_AUTH_SOCK mantém o caminho do soquete. O ssh-add verifica a variável e conecta-se ao agente que pode ser acessado através do soquete, não aquele executado localmente.
Quando você faz ssh em uma máquina com -o ForwardAgent = yes, a variável acima é configurada para apontar para um soquete que está conectado ao agente em execução no host de origem.
Se você deseja que ssh-add conecte-se ao agente em execução localmente, aponte a variável acima para o caminho do soquete que está sendo ouvido pelo agente local. você pode obter o soquete agnets local por sudo lsof -p $(pgrep ssh-agent)
e procurar por um arquivo em / tmp do tipo socket.