Eu não acho que isso realmente importe. No entanto, se você estiver usando vários aplicativos intensivos de memória, poderá alocar uma partição tão grande quanto desejar para a troca. Quanto será usado é outra questão inteiramente. Depende do sistema.
Pessoalmente, não vejo necessidade de um tamanho de partição de swap maior que o dobro da quantidade de RAM, que não exceda 8GB. Tendo uma troca tão grande, o processo de troca provavelmente será muito menos efetivo.