Você pode tentar modificar a seção Allow User user
da seguinte forma:
Match User user
PasswordAuthentication yes
MaxAuthTries 5
AuthenticationMethods publickey password
Quando você lista os métodos de autenticação como uma lista separada por vírgulas, o usuário deve concluir todos os métodos listados. Listar os métodos como uma lista separada por espaços tentará cada método até que um seja bem-sucedido. Então, na minha sugestão se publickey
autenticação for bem sucedida, o usuário terá acesso, se não funcionar, irá pedir uma senha.
Além disso, lembre-se de alterar o PasswordAuthentication
bit para sim, já que você precisa ativar explicitamente qualquer método de autenticação listado.
Confira a man page do sshd para mais informações: Página man do sshd_config do OpenSSH # AuthenticationMethods