Não, não é. Você está acessando a conta via SSH, mas o compartilhamento de arquivos do Windows não usa SSH e não pode usar seu par de chaves da mesma maneira.
Em outras palavras, você está basicamente limitado ao SSH aqui. Para o próprio Git, isso não é um problema - o Windows-Git suporta SSH normalmente. Se você precisar editar alguns arquivos manualmente ou fazer backups, use SFTP (por exemplo, via WinSCP, psftp
ou FileZilla).