Do Ubuntu Wiki Trocar FAQ
A significant number of the pages used by these large programs during its startup may only be used for initialization and then never used again. The system can swap out those pages and free the memory for other programs or even for the disk cache. In these cases, swap will be used to help the system handle any extra load.
Eu sinto que o kernel linux faz isso de maneira ótima, e muito bem, então você não precisa se preocupar. Você poderia reduzir o swappiness para aumentar seu uso de RAM, mas eu não recomendaria isso.