Na essencialidade, o que a troca lhe oferece é proteção contra o consumo de memória intermitente - se alguma aplicação sua alocar muita memória para o seu sistema (o consumo de memória se aproxima da memória total disponível), o que você obterá será a terminação de a referida aplicação ou (melhor caso) ou encerramento de outras aplicações (não é bom de todo), de qualquer forma, em 99% dos casos, a aplicação não conseguirá fazer o que quer que fosse fazer. Com o swap, existe a possibilidade de que a aplicação faça o que pretendia, libere a memória e a operação normal será retomada. Sem troca, não existe essa possibilidade. Você realmente não pode poupar 4 GB do seu disco rígido para swap? Nós definitivamente temos swap habilitado em nossos sistemas, mesmo que eles tenham pelo menos 32Gb de RAM.
Geralmente, qual é o seu problema com swap? A única desvantagem "real" que vejo é que você está removendo alguns gigabytes do seu espaço em disco utilizável, mas isso é tudo. Ou estou faltando alguma coisa?