Obter saída de terminal do chrome e mexer com pulseaudio foi a chave. Tentando matar e começar pulseaudio deu isso:
>>> pulseaudio
E: [pulseaudio] socket-server.c: bind(): Address already in use
O que leva à minha resposta aqui:
A solução estava removendo um diretório .esd
em /tmp
e executando pulseaudio novamente:
>>> rm -r /tmp/.esd-1000/
>>> pulseaudio
Não sei por que isso funciona, mas instantaneamente tive o áudio de volta no Chrome e não tive o problema desde então.