Já experimentou um ambiente de área de trabalho alternativo que seria menos intenso graficamente? Eu acho que é aí que está o seu gargalo. Confira o spinoff do Fedora que vem com o LXDE ? É muito leve em termos de uso de cpu / gpu / memória e é muito mais graficamente frugal do que um DE baseado em gnome. Deve funcionar bem no hardware que você tem atualmente. Vá para a versão de 32 bits, não há necessidade de 64 bits no PC.