Eu entendo que você está usando o Hyper-V, mas os conceitos são semelhantes. Talvez isso te coloque no caminho certo.
Seu problema provavelmente se deve ao ballooning de memória virtual, uma técnica que o hypervisor usa para otimizar a memória. Consulte este link para obter uma descrição
Eu observei exatamente seus mesmos sintomas com minhas VMs no vSphere. Uma máquina 4G sem nada rodando reportaria 30M usado pelo cache, mas por 3G "usado" na linha "- / + buffers".
Aqui está um exemplo de saída do comando de estatísticas do VMWare. Isso mostra o quão perto de 3G está sendo adicionado ao meu valor "usado":
vmware-toolbox-cmd stat balloon
3264 MB
No meu caso, obviamente, meu driver de balão estava usando ~ 3G
Não sei ao certo qual é o comando semelhante no Hyper-V para obter suas estatísticas de balão, mas tenho certeza de que você obterá resultados semelhantes