Você provavelmente não precisa de muita troca. A menos que hibernando quando toda a RAM estiver em uso, você precisará de menos swap.
Você não pode redimensionar através de uma partição que esteja em uso. Então você precisa desabilitar o uso de swap swapoff
para desativá-lo. Então você pode mover o swap (se ainda for necessário). Em seguida, redimensione-o (se necessário) e redimensione as outras partições.
Como alternativa, adicione partições adicionais e monte-as em algum lugar. Isso seria menos flexível. Como você tem que gerenciar o que está em cada partição.
Como alternativa, considere LVM, não tenho idéia se isso pode ser feito retrospectivamente. Espero que alguém mais possa dar uma resposta a isso.
Do comentário: você parece ter removido a troca. mas não disse ao sistema operacional para não usá-lo. Olhe no fstab, e remova a linha relacionada ao swap, para desabilitar o swap.