Você pode fazer isso no seu sistema operacional usando o mixer de áudio ou o painel de controle. A alteração deve ser realizada enquanto o Chrome está reproduzindo áudio e deve ser permanente, independentemente do SO.
Windows:
Dê um duplo clique no ícone do alto-falante na sua bandeja, abra o mixer e deslize o controle deslizante de volume do Chrome.
Linux:
Abra o controle de volume pulseaudio e mude o Chrome.