Você precisa acessar a chave privada com cada cliente que deseja usar para o acesso ssh.
Pessoalmente eu uso PuTTY em uma unidade flash como Putty é multi-plataforma. Você precisará importar as chaves openssh para o keygen do PuTTY.
Você pode acessar ssh sem chaves (senha, kerberos, autenticação baseada em host) como uma alternativa.
Portanto, se você estiver usando chaves, o ssh tentará usar uma chave primeiro. Se uma chave não estiver disponível, ela retornará à autenticação de senha, a menos que você tenha desabilitado a autenticação de senha em sshd_config.
Se você criar uma chave, ainda poderá fazer login com senhas ou qualquer outro método.
o login é configurado via sshd_config - Veja man sshd - link