Sim, sua baixa RAM é provavelmente a causa principal. Você deve ter configurado uma área de troca e seu sistema está usando seu disco como extra-RAM. Mas um disco é 1000x mais lento que a memória RAM normal e o sistema desacelera a ponto de não responder.
Uma solução é identificar o culpado (o processo que consome a maior parte da sua memória RAM) com a parte superior e ver se ela está descontrolada de alguma forma. Senão, se este programa não é essencial para você, você pode querer desinstalá-lo. Se isso não for uma opção, você pode iniciá-lo somente quando precisar e pará-lo quando terminar.
Outra opção é permitir que o OOM killer (*) faça seu trabalho reduzindo sua quantidade de swap. Você pode ter 1 ou 2 GB de swap. O assassino da OOM começará a agir quando o seu swap estiver cheio (aparentemente é tarde demais para você) = > reduza a partição swap para 100 ou 200 MB.
(*) Assassinante de falta de memória, um processo do kernel que mata os processos que estão com muita fome de memória.