A partição swap com o dobro do tamanho da memória é apenas uma diretriz geral, não uma regra rígida e rápida. Você precisará de, no mínimo, 1 X de tamanho de memória se suspender para o disco (hibernação) e adicionar reserva suficiente para o uso da memória "trocada", que vai além da sua memória física. Daí as recomendadas 1,5 a 2 vezes.
Eu acho que isso também depende da natureza do uso do aplicativo e do tamanho da sua memória física, etc. Se você tiver mais de 2 GB de RAM e usar aplicativos que não usam muita memória na maioria das vezes, talvez não seja necessário tudo, não grande de qualquer maneira.
Ter um grande arquivo de troca e um disco rígido lento também pode ser muito penoso para o seu sistema.
Aqui estão algumas leituras úteis:
Ubuntu SwapFAQ
SUperuser - Troque o tamanho da partição para 4GB de RAM
Preciso de uma partição de troca e, em caso afirmativo, quão grande?