Eu encontrei a solução!
Não estava relacionado ao cromo ou ao firefox, era uma configuração. No pulseaudio, o fluxo de som desses dois aplicativos foi configurado para ir para a saída de áudio HDMI, em vez de alto-falantes embutidos.
Como você não pode alterar essa configuração para cada aplicativo no aplicativo "sound" padrão, eu tive que instalar o pavucontrol e então eu poderia redirecionar os streams corretamente.
sudo apt-get install pavucontrol