Quando você começa a atingir o limite da memória principal, seu sistema operacional começa a trocar a memória para o disco para liberar espaço para mais coisas (isso é chamado de paginação ). É por isso que o seu computador está ficando muito lento porque a unidade de disco é waaaay mais lenta que a RAM, mesmo se você estiver em um SSD, e é também a razão pela qual seu programa pode continuar sem memória principal .
A memória inativa costuma ser trocada primeiro para que os programas ativos possam ter o máximo possível na RAM. Esta é a razão pela qual o uso da memória fica abaixo do estado ocioso habitual. O sistema irá começar a trocar as páginas de memória novamente e a memória inativa será preenchida na RAM eventualmente.