Em teoria, todas as aplicações GNU / Linux são "portáveis" sob a sua definição da palavra. Tar em um sistema, untar no outro e aí está você. Na prática, no entanto, as coisas raramente são cor-de-rosa e fofas.
Você começa a ter problemas por causa de coisas como a ausência de bibliotecas com as quais o programa estava vinculado (e é melhor você acreditar que um media player precisa de muitos desses!), intérpretes desatualizados (ou inexistentes) para o seu script estamos falando de um aplicativo escrito em uma linguagem de script como Python ou Perl) e assim por diante.
Você pode descobrir as bibliotecas necessárias ao seu programa e agrupá-las junto com o executável usando algo como:
ldd path_to_executable|cut -d '>' -f2|grep '^\s*/'|sed 's/^\s*//;s/\s*(.*$//'
Mas essa não é uma correção garantida: você ainda pode ter problemas se o executável tiver sido vinculado a bibliotecas de 32 bits e você estiver tentando executá-lo em um sistema de 64 bits ou se o executável tiver sido compilado para um diferente arquitetura daquele em que você está tentando executá-lo.
Dito isto, se você está procurando um ambiente estável (não apenas um reprodutor de mídia) que possa transportar com você, por que não considerar uma distribuição do LiveCD (seja em um CD / DVD real ou em um pen drive)?