Essas são as medidas que eu uso para clientes que precisam ser gerenciados remotamente pelo ssh (no meu caso usando o BackupPC ao invés do Ansible, mas funciona da mesma maneira).
Se você estiver usando apenas o ssh para gerenciar os clientes, não para o acesso ao shell, ele melhorará a segurança para adicionar
AllowUsers ansible
PasswordAuthentication no