Sim, mas não em um sistema de arquivos FAT . ssh usará somente chaves privadas com permissões definidas como 400 ou 600 , mas o FAT não permite isso.
Para contornar isso, fiz várias partições no meu pen drive. Isso me dá uma partição Linux para minhas chaves OpenSSH e uma partição FAT para minhas chaves PuTTY. Em seguida, posso usar ssh-add / pageant para carregar a chave apropriada e conectar sem especificar meu local de chave.