Sim, isso é possível. gpg
normalmente lida com arquivos como binários e você não precisa fazer nada especial para criptografar imagens ou áudio.
gpg -c yourfile.mp3
para criptografia simétrica e
gpg -e yourfile.mp3
para criptografar com sua chave privada (pré-gerada).