OK - finalmente consegui que isso funcionasse da seguinte forma:
- Faça o ssh-keygen em todos os servidores.
- Configure o arquivo de autorização para cada usuário com sua chave pública.
- Configure o arquivo de identificação para cada usuário com a chave privada
- Copie as chaves privadas dos servidores de destino para o servidor do qual você deseja ssh como arquivos exclusivos (b_dev_id_dsa_2048_a, c_test_id_dsa_a, ...)
- Chame o ssh da seguinte maneira no host a:
ssh -i b_dev_id_dsa_2048_a b_dev@b
e viola, finalmente funciona.
Obrigado a todos pela ajuda e, finalmente, ao niXar pelo momento final de Homer Simpson DUH, fazer isso é exatamente o que você faz se o usuário for o mesmo em todos os hosts.