De acordo com a introdução do TechNet ao novo taskmgr :
Committed virtual memory is private, nonshareable virtual memory created by processes or the OS or drives that MAY need to be paged out. This always starts out in RAM and may get paged out if necessary. So committed memory can be backed by RAM (and if you have no paging file, it remains in RAM until the VM is deleted such as at process exit).
Fonte: link
Sim, o Windows está usando o arquivo de paginação se presente, mas em geral reserva algum espaço na memória - como mencionado acima - apenas no caso. No entanto, essa memória confirmada não precisará ser paginada.