Acabei de tentar isso em uma caixa do Fedora Linux usando mpg321 versão 0.2.11 e o seguinte funcionou:
arquivos específicos
% mpg321 /path/to/file1.mp3 /path/to/file2.mp3
*. mp3
% mpg321 *.mp3
diretório usado
% ls
track_01.mp3 track_02.mp3 track_03.mp3 track_04.mp3 track_05.mp3 track_06.mp3
track_07.mp3 track_08.mp3 track_09.mp3 track_10.mp3 track_11.mp3 track_12.mp3
track_13.mp3 track_14.mp3 track_16.mp3 track_18.mp3 track_19.mp3
Eu suspeito que o diretório em que você está fazendo tem mais arquivos mp3 do que o seu shell pode manipular quando o arquivo '*. mp3' é expandido para todos os arquivos que estão lá, ou que há um problema com sua versão específica de mpg321 .