I do not want to use passwordless ssh, since my private key file may be compromised, which is even worse.
Não, isso está errado. Um arquivo de chave privada fornece mais segurança que uma senha. Use um arquivo de chave privada. O arquivo de chave privada é criptografado com uma senha; Se alguém receber o arquivo de chave, ele ainda precisará da sua senha. Se você estivesse usando a autenticação por senha, qualquer um que tivesse acesso à senha estaria em casa.
Execute ssh-agent
pela duração da sua sessão. Antes de usar uma chave específica, insira a senha com ssh-add
(ou por meio de um prompt da GUI). Então não haverá um aviso quando você se conectar usando esta chave.