Sim, sua matemática está correta, até certo ponto.
No entanto, observe que os sistemas operacionais modernos usam excesso de memória para armazenamento em cache. Este artigo explica bem como funciona o gerenciamento de memória do sistema operacional (escrito para o Windows Vista, mas geralmente relevante para todos os sistemas operacionais); Basicamente, ele tenta usar sua memória livre (ociosa) para seu cache, e quando necessário por outro programa, essa memória é liberada novamente.
Assim, o sistema operacional pode parecer estar ocupando mais memória, mas é apenas para fins de armazenamento em cache e pode ser liberado a qualquer momento.