Quando você começa a trocar, seu computador fica lento, se você tivesse muito pouco swap, ele não congelaria, em vez disso, usar muita memória acionaria os kernels Out Of Memory killer, o que então mate o processo " Baddest ". (geralmente seu servidor gráfico, ou processos no chrome, o que resultaria na página "tabulação triste", ou no Firefox). Não parece que você está ficando sem swap, a maioria dos computadores ficarão muito lentos quando começarem a usar muita troca.
Desativar o javascript é um passo importante para usar menos memória, mas muitas páginas não funcionam, o NoScript para Firefox torna isso mais gerenciável. Além disso, mantenha o número de abas abertas baixo, e alguns sites (sites de notícias "Web 2.0" do IME como o de Huffington são os piores) têm muito mais desempenho com fome que outros.
Um bom programa para permitir que você veja quais processos estão sendo executados no seu computador é o htop
, que você pode instalar a partir do centro de software.