Você pode configurar a autenticação baseada em chave do seu PC Windows para o seu servidor pessoal local, é claro que você precisa acessar seu servidor para fazer isso.
Isso envolverá uma senha, seja através de um SSH inicial. sessão para configurar as chaves e não permitir o login SSH da senha, ou se você efetuar login digitando a senha em um tipo de configuração do console físico (anexando um monitor e um teclado ao seu servidor pessoal).
Quando as teclas estiverem configuradas, o único ponto que você terá que digitar uma senha será no final do cliente, neste caso quando você estiver efetuando login no seu PC Windows.
Obviamente, problemas ocorrerão se você perder chaves para um servidor que não pode acessar fisicamente e não tiver outra maneira de se autenticar.