1 é, como você disse, facilmente consertável.
Para o 2, tanto o OpenSSH quanto o PuTTY têm um conceito de "agente" - um processo em segundo plano que armazena suas chaves na memória. Para o OpenSSH, este é o ssh-agent, e o PuTTY vem com o Pageant. Em ambos os casos, as chaves podem ser carregadas uma vez - geralmente no tempo de login - após o qual o cliente SSH simplesmente pedirá ao agente para assinar os dados de autenticação, sem precisar da localização da chave real.
A vantagem óbvia é não precisar digitar novamente a senha da chave em cada conexão, mas há mais - os dois clientes suportam o encaminhamento do agente, onde você pode se conectar a uma máquina (relativamente confiável) e usar o agente local remotamente (por exemplo, você pode conectar de local a hostX, de hostX a hostY, de hostY a hostZ), e a chave nunca deixará sua máquina local.
3 não é um problema crítico, pois os perfis de usuário do Windows não são acessíveis publicamente por padrão (posso estar errado aqui; isso será verificado mais tarde). Além disso, sua chave é protegida por senha enquanto no disco, e as permissões podem ser facilmente alteradas.
4 - basta copiar o atalho do Pageant para a pasta de inicialização no menu Iniciar - Programas. (Como alternativa, aponte o atalho para o seu arquivo de chave, para que ele seja carregado no login.)
Quanto a 5, não é possível reproduzir - usei o PuTTY e o WinSCP por muitos anos e o Pageant funcionou bem. A única razão pela qual consigo pensar é o bug recentemente introduzido, corrigido em PuTTY 0,62 - tornou o núcleo 0,60 e o agente 0,61 incompatíveis. Basta atualizar para a versão mais recente e isso deve funcionar. Se não, pelo menos, esclarecer em quais programas você está tentando.