Eu diria que depende do seu caso de uso e o resto das respostas abordou isso muito bem. 4G de swap são, afinal, uma maneira barata de comprar alguma segurança. E eu sinto que esse baixo preço é o que está fazendo as pessoas não quererem desligá-lo.
Mas deixe-me responder com uma pergunta retórica. Se o dinheiro não é um problema, e você tem uma escolha entre dois sistemas - um com 12G de RAM e 4G de swap, e outro com 16G de RAM e sem swap - qual você escolheria? Infelizmente, a maioria das pessoas ainda responderia que eles escolheriam 16G de RAM e ainda adicionariam 4G de swap, o que não faz sentido.
E em outra nota, eu pessoalmente acho um sistema swappy pior do que um sistema travado. Um sistema travado acionaria um servidor de backup em espera para assumir muito mais cedo. E em uma configuração ativa-ativa (ou balanceada por carga), um sistema travado seria retirado da rotação muito mais cedo. Uma vitória para o sistema não-swap novamente.