Isso é perfeitamente normal.
Na inicialização do sistema, vários serviços são iniciados. Esses serviços se inicializam, lêem arquivos de configuração, criam estruturas de dados e assim por diante. Eles usam alguma memória. Muitos desses serviços nunca serão executados novamente durante todo o tempo em que o sistema estiver ativo, porque você não os está usando. Alguns deles podem funcionar em horas, dias ou semanas. No entanto, todos esses dados estão na memória física.
Claro, o sistema não pode jogar esses dados fora. Não pode provar que literalmente nunca será acessado. Um desses serviços, por exemplo, pode ser o que fornece acesso remoto à caixa. Você pode não ter usado em uma semana, mas se você usá-lo, é melhor trabalhar.
Mas o sistema sabe que pode gostar de usar essa memória física para coisas como um cache de disco ou de outras maneiras que melhorarão o desempenho. Por isso, faz troca oportunista. Quando não tem nada melhor para fazer, ele grava dados que não são usados há muito tempo no disco, usando o espaço de troca. No entanto, ainda mantém as páginas na memória física. Então eles ainda podem ser acessados sem ter que trocá-los.
Agora, se o sistema mais tarde precisar dessa memória física para outra coisa, pode simplesmente jogar essas páginas fora, porque já as gravou para trocar. Isso dá ao sistema o melhor dos dois mundos. Os dados ainda são mantidos na memória, portanto, podem ser acessados sem precisar lê-los do disco. Mas, se o sistema precisar dessa memória para outra finalidade, não precisará escrevê-la primeiro. Grande vitória ao redor.