O gerenciamento de memória já é um tópico complexo e, infelizmente, a Microsoft alterou suas definições e termos exatos em relação a diferentes tipos de memória com praticamente todas as versões do Windows. Então, confie em mim, você não é o único confuso com isso.
Quando você usa a lista de tarefas, a lista de tarefas mostra o Conjunto de trabalho atribuído a cada processo. Um conjunto de trabalho são as páginas físicas recentemente tocadas da RAM atribuída a um processo, e isso não conta para toda a memória virtual total que um processo pode estar usando (em Em um sentido, os processos usam apenas memória virtual, pois a memória física é abstraída em um pool maior de memória virtual e combinada com outras fontes de memória virtual, como o arquivo de paginação. Também não conta para o armazenamento em cache de arquivos, etc.
Você nunca deve ter muita memória "Livre" no seu sistema. Isso é uma RAM desperdiçada que literalmente não está fazendo nada. Quando não há processos que precisam de mais memória, o Windows usa a memória livre para armazenar em cache os arquivos, até que a memória livre volte a zero ou próxima de zero.
Mas esse cache pode ser muito rapidamente realocado para um processo, ponto em que se tornaria parte dos processos Virtual Bytes e subtraídos da memória disponível.
Quanto às suas lentidões, você pode estar passando por muitas coisas. Quando o Windows fica com pouca memória disponível, ele começa a desgastar (ou aparar) processos de conjuntos de trabalho, o que pode levar a lentidão perceptível.
Use as descrições encontradas no Monitor de desempenho para obter as descrições mais precisas quando estiver falando sobre esses tipos de memória. (Ao contrário do Gerenciador de Tarefas, que tem alguma terminologia conflitante / confusa para alguns dos termos.)
Por último, recomendo que você assista a esta série de vídeos em duas partes: link