Eu tinha o diretório inicial criptografado, essa parece ter sido a causa. Eu re-instalado e configurar o SSH novamente e funcionou bem, assim que o diretório inicial é criptografado, chaves ssh não funcionará sem habilitar a autenticação de senha em sshd.config - deve ser uma solução para isso, mas por enquanto isso funciona para eu.