Já consultou o rsync ? Você deve ser capaz de configurá-lo da maneira que quiser. Basicamente executando
rsync -auze ssh user@server:/mp3-folder/ /local-mp3folder/
nos clientes deve ser o suficiente para obter as alterações do servidor (o rsync precisa ser instalado em ambos e este exemplo usa o ssh para que também seja ativado).
Embora o git possa manipular arquivos mp3, não seria muito rápido, pois é feito para arquivos de texto.