Eu acho que nunca uso minha partição swap. Se você tiver RAM suficiente em sua máquina, talvez seja possível fazer isso sem ela. Vá para uma janela de comando e digite
free -m
Você deve ver na última linha uma referência a 'Swap'. Se o usado nisto for zero e permanecer dessa maneira consistentemente, reduza a partição de swap para baixo com o gparted ou remova-a completamente.
Você poderia, potencialmente, usar um arquivo de troca, mas não tenho certeza de quão confiável é a técnica para fazer isso, dada a ênfase do Linux em usar uma partição para isso em vez de um arquivo. Se você precisar de um arquivo de swap, o google 'swap file linux' e instruções sobre como configurá-lo devem estar prontamente disponíveis para você.