Isso pode não ter a ver com o uso geral da memória, mas com o modo como o gerenciador de memória no Linux se comporta. Se os processos estiverem apenas ociosos, o kernel pode decidir trocá-los para ganhar mais cache de disco.
O quanto o Linux decide trocar processos inativos para obter mais cache de disco pode ser ajustado. Por padrão, o Ubuntu tem vm.swappiness = 60 .
Você pode querer tentar um valor diferente. Tente o comando sudo sysctl -w vm.swappiness=10
e continue usando seu computador normalmente. Se a situação melhorar devido a esse truque, você pode adicionar uma linha
vm.swappiness = 10
para o seu arquivo /etc/sysctl.conf para tornar esta mudança permanente nas reinicializações.