Christian e Warner estavam no caminho certo, era um erro de permissões, mas era b / c do diretório inicial, não do diretório .ssh:
$# tail --f=n /var/log/secure
Mar 22 10:52:57 my_server2 sshd[6278]: Authentication refused: bad ownership or modes for directory /home/my_user
$# ls -la /home/my_user
drwxrwx--- 21 my_user my_user 4096 Mar 22 10:37 .
...
Depois de chmod
'entrar no diretório para 755, o login funcionou corretamente.