Acho que consertei meu problema específico adicionando os Backports precisos do Kubuntu que têm uma versão mais recente versão de libtag1-dev
(1.8-1 ~ ubuntu12.04 ~ ppa1).
sudo add-apt-repository ppa:kubuntu-ppa/backports
sudo apt-get update
sudo apt-get install libtag1-dev
Não tenho certeza, se isso consertar meu problema real com o taglib-ruby ou até mesmo quebrar meu sistema na próxima atualização