O SDL não precisa do PulseAudio em si; no entanto, ele pode usar PA se estiver disponível. Parece que o SDL pode ser executado sem X se um framebuffer estiver disponível.
Você pode começar pelos exemplos da página da SDL para verificar se é um problema da sua placa ARM , e você provavelmente precisará fazer outra depuração no seu programa de reprodução de áudio (eu acho que é um problema de codec).
Como você está rodando em um Raspberry Pi, você pode tentar isso para ver se você consegue trabalhar com áudio (não tenho meu RPi aqui, então não posso testá-lo).