Eu consertei! Eu precisava estar no grupo "audio" para fazer tudo funcionar.
Corrigido com
usermod -a -G audio [username]
Faz sentido ver a propriedade dos dispositivos em /dev/snd
, eu acho, mas não percebi isso até que vi um tutorial não relacionado sobre como fazer o som funcionar no rasberiano