Da minha experiência, o Chrome é um pouco livre dos recursos do sistema, especialmente se você for a alguns sites pesados (se ele puder usar mais memória para tornar sua navegação mais rápida).
Sobre o Firefox, o peso geralmente é causado pelo número de plugins e barras de ferramentas que você instalou. Tente instalá-lo novamente em um local separado e instale apenas o mínimo de plug-ins.
O Opera não é o mais leve, mas tem razoável uso de memória em minha opinião (entre outras ótimas funcionalidades, na minha opinião, mas este não é o lugar). Além disso, você não pode instalar plugins além dos incluídos, isso ajuda a não desorganizá-lo.
Tenha em mente que os sites estão ficando cada vez mais pesados. A quantidade de javascript, os plugins de que necessitam (como flash) tornam algumas páginas realmente pesadas. É bastante comum hoje em dia que o navegador se torne o programa mais pesado lançado, com um uso médio de memória em torno de 300-400mb.
Para informações, aqui está uma recente (a partir de hoje, pelo menos) comparativo entre navegadores , para dar uma idéia da velocidade e da memória que você deve esperar.