Troca = RAM, na verdade, quando você quiser hibernar. No entanto, nunca é demais ter um pouco mais. Em sistemas modernos com terrabytes de dados, 4 GB são amendoins.
Se você tem um sistema ocupado que usa muita troca, eu definitivamente iria para 8GB. Caso contrário, todo o seu swap será morto quando você hibernar e isso pode causar alguns problemas. Se você raramente ou nunca usa swap, você pode chegar mais perto dos seus 4GB, mas mesmo assim não faz mal dar um pouco mais de espaço.
Sistemas que são medidos de maneira muito restrita (em todos os sentidos das palavras), tendem a causar problemas mais tarde que custam mais tempo e dinheiro para resolver do que o extra original que poderia ter evitado os problemas.