Aqui está como eu consegui trabalhar, caso alguém mais queira saber. Pode poupar algum tempo.
O problema parecia ser que o áudio de pulsos enviava som para o dispositivo 1 da placa 3, que não produzia som algum com o comando de teste de som. Eu precisava mudar para o dispositivo 1 do cartão 1, que produzia som com teste de som.
Eu adicionei duas linhas ao arquivo /etc/pulse/default.pa
load-module module-alsa-sink device=hw:1,7 set-default-sink output 2
O hw: 1,7 corresponde ao "cartão 1" e "dispositivo 7" mostrado para o dispositivo na saída do "aplay -l". Esta foi a placa e o dispositivo que tocou o som do teste de som. Número para o coletor padrão é o índice do dispositivo mostrado por "pacmd list-sinks"
Eu também tive que desligar o dispositivo correspondente ao hw: 1,3 usando o pavucontrol.
Também foi útil o site PulseAudio / Examples , em particular a seção sobre configuração de saída HDMI.