Apenas quando é acessado. Todos os SOs de memória virtual modernos são "paginados por demanda", o que significa que as coisas são paginadas como resultado de falhas de página, que ocorrem quando páginas "inválidas" são referenciadas.
(Uma página "inválida" é simplesmente uma que gera uma falha de página quando referenciada. Ela pode estar na RAM, em um cache de página. O nome vem do bit "válido" na entrada da tabela de páginas x86 / x64. Outro nome para isso é "residente", mas esse nome é um pouco enganador, já que, novamente, uma página "inválida" pode estar na RAM, em um cache de página.
Isso é um pouco modificado pela pré-busca e leitura e assim por diante, mas fundamentalmente, as coisas ainda são paginadas por demanda.
A razão para isto é que quando um programa ficou inativo por um tempo (e é "trocado para disco", seu padrão de acesso à memória na próxima vez que ele faz alguma coisa não será necessariamente similar ao que era anteriormente). Seria um pouco simplista para apenas página em que estava na memória antes.