Não. ssh-agent não tem possibilidade de trabalhar em paralelo. Ele lida com todos os pedidos sequencialmente, o que pode causar muitos ciclos de CPU ao fazer muitas assinaturas.
Você não mencionou quais tipos de chave e tamanhos está usando. Você pode obter alguma diferença no desempenho usando diferentes tipos de chaves (ECDSA, ED25519, ...) ou tamanhos menores de RSA.
Se você não tem senha nas chaves, você pode deixar o ssh-agent out e as assinaturas podem ser simplesmente executadas pelo ssh (apesar de potencialmente degrada a segurança).
Como já mencionado, ele comenta, você pode acelerar algumas coisas usando ControlMaster (caso você emita muitas conexões para o mesmo servidor).
Por último, posso pensar que estaria rodando vários ssh-agents para distribuir a carga (provavelmente em shells diferentes), mas também é uma espécie de solução feia.