Opção 1: use o madplay para reproduzir o mp3 (sudo apt-get install madplay)
Neste caso, parece que o meu áudio USB tocaria apenas áudio a 48KHz, enquanto que os mp3s que eu estava tentando tocar estavam na verdade em 44,1kHz
Parece que o mpg321 tentaria tocar o áudio a 44.1KHz de qualquer forma, mesmo que o meu USB Audio não suportasse, então ele acabou tocando cerca de 10% muito rapidamente, e consequentemente em um tom mais alto.
O madplay parece lidar apropriadamente com esse cenário e reproduz o áudio como você esperaria ouvir.
EDITAR:
Opção 2: @derobert também tem uma solução em um comentário abaixo sobre como fazer com que o mpg321 funcione corretamente neste cenário:
"You could also try using the
plughw
device instead ofhw
, e.g.,mpg321 -o alsa -a plughw:0,0 …
. That should get ALSA to insert a sample-rate converter."
Eu ainda prefiro a Opção 1, já que é mais simples de escrever, mas é bom saber como fazer com que o mpg321 funcione tão bem se você precisar dele!