Isso parece ser um problema com seu diretório inicial sendo criptografado. O ssh não pode ler sua chave quando o diretório pessoal não foi descriptografado. Quando você faz o login de um terminal local (ou samba), ele descriptografa seu diretório. O mesmo acontece com o login com ssh usando a senha auth. Uma solução é publicada no Superusuário .