Em piores cenários de caso, com certeza, deveria. Dito isso, swap é normalmente o lugar last em que você armazenaria páginas, se o RAM estivesse disponível e com 6gb, você deve normalmente não experimentar muita troca.
Normalmente, a lentidão do sistema devido a swap deve-se a memória RAM insuficiente + alta demanda de ram (o que resulta em troca pesada) + drives lentos - tive sistemas com RAM insuficiente com melhor desempenho até mesmo SSD low-end.
No entanto, não há informações suficientes para dizer se o seu sistema está com problemas de desempenho como causa de troca.
Algo como o iotop mostraria a você quais processos estão usando o disco e estão usando ram e swap, em vez de adivinhar cegamente
