Você pode brincar com a configuração swappiness da sua máquina e configurar um valor menor como 10 em vez do padrão 60. Consulte Como eu configuro o swappiness? para saber como alterá-lo.
O swappiness determina o saldo entre evitar o swap e prefere manter a memória livre para caches e outras coisas. Valores menores significam menos / mais tarde uso de swap.
Eu não desabilitarei completamente a permuta, porque se você ficar sem memória, mesmo que seja apenas um pouquinho e muito rapidamente, o OOM-Killer (Out Of Memory) iniciará e terminará aleatoriamente os processos até que RAM suficiente disponível novamente. Você normalmente quer pelo menos um pequeno buffer lá. Não tem que ser 8GB, talvez apenas 2GB, mas geralmente não é a melhor opção.