Bem, é assim que a criptografia simétrica com o gpg funciona. Você pode usar a opção -o para especificar uma saída. Se você quiser excluir o arquivo de origem, após a criptografia bem-sucedida, poderá usar algo assim:
gpg -c file && rm -rf file
Desta forma, você terá apenas o arquivo criptografado. Além disso, dê uma olhada no comando shred , é bastante útil quando se trata de excluir dados confidenciais.
gpg -c file && shred -u file