Eu acredito que você pode obter uma versão portátil de algum lugar. Eu pesquisaria o PortableApps primeiro, mas qualquer outra opção de distribuição funcionaria.
Note que você perderá alguns recursos que exigem integração do sistema (instalação administrativa) porque nem o seu sistema operacional ou outros programas verão o GNUPG instalado ao executar o computador portátil; esses recursos incluem itens de menu do botão direito ou ações entre programas, etc.