Eu não tenho certeza do que você quer dizer com "swipe scancodes", mas eu diria Não. Não use ferramentas GPG com chaves privadas confidenciais quando não tiver certeza de que a integridade do sistema está no mesmo nível.
Talvez eu seja muito sensível / paranóico, mas se keylogging no ambiente X é uma preocupação, por que o TTY também não teria preocupações de integridade? Talvez não tenhamos informações suficientes. Você está executando uma sessão X remota pela rede?