O XMMS requer bibliotecas da série 1.2 da versão simplificada (a série 2.0 não funciona). Você pode obter uma versão suficientemente nova de que do PPA de levien:
sudo apt-add-repository ppa:levien/thbio
sudo apt-get update
sudo apt-get install libglib1.2-dev libgtk1.2-dev
Mas, mesmo assim, você provavelmente encontrará problemas com referências indefinidas no libgdk 1.2.