ssh -t user@host gpg -d file
Eu não acho que tenha que ser mais complicado que isso.
A saída descriptografada será retornada ao seu terminal. A opção -t
pede ao ssh que solicite um tty, que é necessário para que o gpg possa solicitar no seu terminal a senha.
Isso não parece mais seguro para mim do que seu método de quatro etapas.