O usuário é joe no grupo joe ? Você poderia tentar:
Match User joe
Você precisa reiniciar o sshd após qualquer alteração. O diretório / home / joe deve pertencer a joe e ter permissões configuradas apropriadamente também. Além disso, lembro-me de ter lido em algum lugar que é melhor criar um novo diretório para prender o usuário, em vez de usar um /home