Parece que você não tem o arquivo de chave pública correto. Tente copiá-los do computador de trabalho para o não trabalho. Eles devem estar em algum lugar no seu diretório pessoal. Normalmente id_rsa.pub.
Isso também pode ser resolvido se você verificar seu arquivo known_hosts e remover o que não está funcionando e reconectar seu host por:
ssh-copy-id -i ~/.ssh/id_rsa.pub user@remote-system
Para descobrir qual deles no arquivo known_hosts é seu não-útil, compare a chave do id_rsa.pub e a entrada no arquivo known_hosts.