As respostas que você receberá serão baseadas em opiniões.
Normalmente, atualizo se o sistema estiver lento e swap-in * swap-out > 0. Ou se eu puder ver uma grande vitória sendo capaz de armazenar grandes arquivos na memória.
Um grande uso de swap não é necessariamente um problema.