Você pode configurar um comando forçado no arquivo authorized_keys. Isso poderia fazer um sudo ou su ou algum shell script que por sua vez invoca algum tipo de requisito de senha de login.
Cada usuário pode ter duas contas. Um para acesso baseado em chave SSH que, por sua vez, invoca um comando forçado, exigindo que ele insira uma senha antes de obter um shell real.
"Desativar recursos SSH desnecessários usando outras opções que abordaremos mais adiante. No SSH1, você pode desativar o encaminhamento de porta sem encaminhamento de porta, encaminhamento de agente sem encaminhamento por agente e alocação tty usando no-pty."