Eu não tentei, mas acredito que você pode usar o PAM (Módulo de Autenticação Conectável) do Google Authenticator. Faz parte do projeto Google Authenticator OpenSource . Você pode encontrar mais detalhes sobre isso em suas Instruções do módulo Github-PAM .
A Pesquisa rápida do Google me deu este artigo: Como configurar a autenticação de vários fatores para SSH no Ubuntu 14.04 , o que pode ser útil.