Você pode ajustar o parâmetro swappiness do kernel (que realmente não faz o que você está querendo), mas isso é tudo que você pode fazer. Caso contrário, o kernel apenas faz o que julgar melhor.
E, se você trocar o Firefox por completo, provavelmente economizará tempo apenas com a saída dele do que o tempo de espera por troca.