O processador mantém uma página virtual no mapeamento de páginas físicas. Isso é verdade.
Como ocorre uma exceção (ou seja, o kernel é chamado) quando um processo tenta acessar a memória em uma página que não deveria, o kernel pode aproveitar esse fato para trocar em uma página armazenada no disco e, em seguida, continuar a processo de onde parou, em vez de apenas segfaulting o processo.
Assim, deste modo, você pode ter um arquivo de swap que tem páginas que foram "trocadas" de RAM completamente e não vivem na RAM. Isso não é realmente parte do design de hardware da MMU, mas envolve o kernel fazendo a troca nos bastidores do processo do espaço do usuário.