Por que não remover apenas a frase secreta da chave? Não há nenhum valor em ter uma frase secreta em sua chave se você estiver apenas salvando a senha em algum lugar em um arquivo de configuração ou script.
Basta carregar o seu arquivo ppk com puttygen, remover a senha e salvar.
Você certamente pode fazer uma cópia do seu ppk e remover a frase apenas dessa cópia e, em seguida, proteger essa cópia com as ACLs do sistema de arquivos para minimizar o risco.