I have set the scrolling to something like 65535 lines.
Já tentou configurar isso para algo mais ... são? Como 5000 linhas. Experimentar. Correlação pode ser causalidade, neste caso.
FWIW, meu terminal gnome é 38MB VIRT 15MB RES (enquanto executa o htop), tudo é padrão e não há composição.