O Chrome e o FF são notórios por vazar memória, mas o taskman está certo, mas está determinando o segmento insidioso se é isso que se recusar a liberar a RAM é melhor determinado com o procexp.
Eu resolvi o problema com um Mozilla Nightly de "64 bits" e isso é omitido, já que a ideia em si levanta o debate sobre o que são navegadores de 64 bits.
Até agora você também notou que o Fonts faz parte desse svcprocess e o Windows normalmente carrega suas fontes na inicialização, um processo que você pode quantificar ao registrar problemas de inicialização e desligamento usando o cperf ou similar.
Você tem muitas fontes instaladas nesta caixa e elas são em sua maioria TTFs, já que eu noto que o Windows quase grita em degradação depois de instalar o Adobe Creative Suite / Acrobat Distiller e abrir fontes de tipos