O problema é que o servidor, ao reinicializar, não estava fazendo login automaticamente na conta de usuário correta.
Eu não sabia disso, mas, aparentemente, para o servidor Pulseaudio ficar disponível na rede, o usuário certo precisa estar logado no servidor. Eu teria pensado que a máquina estaria ligada seria suficiente.
De qualquer forma, isso foi resolvido garantindo que o servidor esteja logado na conta de usuário correta após cada reinicialização.