Não há uma resposta real para sua pergunta, como sempre "depende".
O swap não afeta diretamente o desempenho e depende do que você está fazendo.
Em geral, seu kernel já está otimizado para desempenho e é improvável que você ganhe qualquer desempenho alterando os valores.
No que diz respeito a swap, a questão é quanta RAM você tem e quanto você usa?
Se você estiver usando mais ram, então você terá que usar o swap e você terá um impacto no desempenho. No entanto, se você não tiver swap disponível e ficar sem memória RAM, seus programas travarão ou travarão ou você perderá dados, é difícil dizer.
Se você está tendo um impacto no desempenho devido à troca, a solução é comprar mais RAM e não desativar o swap.
O desempenho pode ser afetado por placas gráficas ou outro hardware, incluindo drivers sem fio de desempenho ruim (ou qualquer driver de kernel, na verdade).
Para depurar sua pergunta de desempenho, precisaríamos conhecer seu hardware, o que você está fazendo, o que faz você pensar que tem um problema de desempenho e, provavelmente, benchmarks antes e depois de fazer seus ajustes para trocar ou o que for.
No meu sistema eu tenho 4 GB de RAM e com atividades normais de desktop, como executar um navegador, processamento de texto, e-mail, etc. Eu nunca fico sem RAM
bodhi@daemon:~$free -m
total used free shared buff/cache available
Mem: 5403 2558 739 77 2106 2398
Swap: 0 0 0
Na verdade, nem estou usando uma partição de troca.
Se, no entanto, eu quiser abrir uma máquina virtual e dar a ela 1 GB de RAM, você pode precisar de swap, então nesse caso eu montei minha partição de swap.
No meu grande servidor eu executo várias máquinas virtuais, mas tenho 16 Gb de RAM. Com todo o meu VM eu bati swap de vez em quando, mas não muito. Certamente, é melhor usar swap para ter uma falha na VM.
Então depende ... do lado do servidor, eu acertei minha troca até o ponto em que o desempenho da VM estava lento, eu compraria mais RAM. lado do desktop, eu só não preciso executar uma VM o suficiente para justificar a compra de mais RAM. Escolha pessoal.
Você precisa analisar seu uso e fazer suas próprias escolhas. Neste ponto, nem sequer sabemos quanto ou quão pouco você é limitado pelo swap em oposição a outros problemas. Se você tiver RAM suficiente, não use swap e, então, não é problema.