O swap é benéfico, porque permite que blocos de memória inativos sejam gravados em disco, liberando memória real para coisas como o armazenamento em cache do sistema de arquivos. O swap também (até certo ponto) protege você contra curtos surtos de demanda de memória. O Linux (por padrão) compromete a memória real, confiando no fato de que a maioria dos aplicativos pedem mais do que eles precisam, mas se de repente todos precisarem dessa troca de memória, você pode proteger contra falhas de aplicativos.
O uso a longo prazo do swap, em vez da memória real, pode prejudicar o desempenho, mas, a curto prazo, o swap pode melhorar o desempenho e proteger-se contra alguns cenários de falha. Eu correria sem swap em apenas algumas situações muito limitadas.
Sem saber como seu VPS está configurado, não é fácil sugerir qual método usar para adicionar swap, no entanto, minha experiência de VPS em geral é que seu espaço em disco já está dividido, então eu usaria a opção 3 (que cria um arquivo regular), é menos eficiente do que usar um volume lógico, mas não sei se você pode criar algum em seu vps. A opção 1 é útil apenas para estender a troca existente que você aparentemente não possui.