What am I doing wrong?
O SSH requer permissões sãs nas chaves privadas e você não é capaz de conseguir isso enquanto liga simbolicamente a um sistema de arquivos diferente (windows). A página de manual para ssh
explica isso claramente:
~/.ssh/id_rsa
Contains the private key for authentication. These files contain sensitive data and should be readable by the user but not accessible by others (read/write/execute). ssh will simply ignore a private key file if it is accessible by others.
É muito provável que você copie as chaves privadas e defina permissões apropriadas, se quiser "compartilhar as chaves".