Acho que os módulos são responsáveis por adicionar dispositivos. Por exemplo. existe um chamado module-udev-detect e, se eu fizer pacmd list-cards no meu sistema, vejo module-udev-detect.discovered = "1" em dois dos três. O terceiro é um dispositivo bluetooth, então eu acho que vem do módulo bluez5 .
Olhando um pouco para a web, você pode fazer pulseaudio ignorar um dispositivo vindo do udev, configurando ENV{PULSE_IGNORE}="1" em uma regra do udev. Veja
Eu acho que para o bluetooth você teria que mexer com o bluez para ignorar o dispositivo.
Por que um dispositivo pode ser ignorado, pode ser porque ele estava bloqueado (os dispositivos só podem ser abertos uma vez) quando o pulseaudio tentou abri-lo.
Editar de @blihp:
Para forçar o PulseAudio a tentar usar um dispositivo de áudio, adicione uma entrada a /etc/pulse/default.pa :
load-module module-alsa-sink device=plughw:<card#>,<device#>
(substitua <card#>,<device#> pelo hardware específico do seu sistema, como 0,1 )