Você não pode decodificar ogg arquivos com aplay . De acordo com a página do manual, os únicos formatos que aplay entende são voc , wav , raw e au . Meu palpite é que aplay interpreta o arquivo ogg como dados brutos, daí o ruído branco.
Use outro programa que possa realmente decodificar arquivos ogg , por exemplo mplayer , ogg123 etc.