Eu também me deparei com essa questão recentemente. Não sei exatamente por que isso começou a acontecer comigo quando eu assisti vídeos no youtube, mas é como você diz, o volume aleatoriamente sobe muito bem e depois cai de volta.
Após brincar com os ajustes de "aprimoramento" como todos sempre recomendam (mas isso nunca funciona para todos que têm esse problema) e também desligar meu microfone, eu ainda estava recebendo o problema.
Eu finalmente reduzi ao fato de que o YouTube usa o HTML5 agora como player padrão. Por alguma razão, isso causa estragos, talvez com hardware de áudio Realtek, não tenho certeza.
A melhor coisa que você pode fazer, e como eu consertei meu problema, é baixar o Youtube Flash Video Player add-on para o Firefox . Isso adiciona um pequeno ícone ao lado de sua barra de endereços que permite que você defina o player padrão do Youtube para o Flash. Isso resolveu o problema para mim, espero que isso também aconteça com você.