Você pode usar Two Factor Authentication para melhorar a segurança das chaves ssh (e outros métodos de autenticação). Eu uso a autenticação de dois fatores do Duo. É grátis para um número limitado de usuários e é relativamente barato além disso. Ele pode ser instalado em uma ampla variedade de sistemas operacionais / aplicativos, etc. Há outros produtos 2FA disponíveis.