Esta solução foi escrita pelo Pôster Original desta pergunta, Brad Grissom
O problema acabou sendo as permissões do próprio diretório de usuários que estavam abertos 777
e precisavam ser restritas 755
:
raspihost $ ls -lhF /home/
drwxrwxrwx 5 matt matt 4.0K Oct 17 18:24 matt/
raspihost $ chmod 755 /home/matt
E agora ssh sem senha funciona!