Enquanto a quantidade de troca de que você precisa é sempre dependente de sua carga de trabalho, isso é certamente uma quantidade excessiva de swap e quase certamente pode ser atribuído a um cálculo do tipo "swap = RAM * x" excessivamente simplista.
Resposta curta: na minha opinião, a troca de 4 GB é quase sempre mais do que suficiente.
Resposta longa: O swap é sempre projetado para substituir os momentos em que o sistema está operando anormalmente - ou seja, o uso de RAM pelos processos está próximo ou excedendo a quantidade de RAM física que você possui. Se os processos que você está executando usam uma quantidade muito previsível de RAM (por exemplo, um servidor de banco de dados que você configurou um certo limite de heap), seu uso de RAM será relativamente estável e é improvável que o swap seja usado. Se você tem certeza de que o uso de RAM pelos processos nunca chegará ou excederá a RAM física, você nem precisa de nenhuma troca. Mas em um servidor típico, geralmente há a possibilidade aleatória de executar tarefas que consomem grandes quantidades de memória por um determinado período, e quando isso faz com que o uso de RAM fique próximo ou exceda a RAM física, o swap entra e salva seu sistema matando processos ou ficando sem espaço de cache suficiente para ser executado com eficiência.
Eu digo que troca de 4GB é mais do que suficiente swap mesmo em um sistema com uma grande quantidade de RAM, porque eu sinto que é suficiente para 1 ou 2 processos com memória relativamente maior excederem a RAM física se seu sistema estiver já trabalhando perto do seu limite. Eu sinto que se você está em déficit em mais de 4GB, algo muito mais sério está errado, o que precisaria ser corrigido configurando seus processos com muita memória. Processos que ocupam significativamente mais do que 2GB de RAM geralmente serão programados para de alguma forma autolimitar o uso de RAM, seja por configuração ou por serem inteligentes sobre a quantidade de RAM física restante.
Outras opiniões sobre quanto swap é "mais do que suficiente" irão variar, é claro. Alguns dirão que 1GB, 2GB, 8GB, etc. Alguns dirão que você não precisa de nenhum com muita RAM física (mas eu discordo).
Mais uma coisa: "hibernação" requer espaço de troca suficiente para escrever toda a memória de processo, então se o seu espaço de troca for significativamente menor que a RAM física, você não conseguirá hibernar. Em um sistema com 128GB de RAM, você provavelmente não vai querer hibernar de qualquer maneira - reservar tanto espaço de troca apenas pelo privilégio de hibernar não apenas consumiria significativamente seu espaço em disco (especialmente para um SSD) também seria bastante lento - imagine carregar ~ 128GB a partir do disco na continuação, que seria significativamente mais lento do que apenas uma inicialização normal.