Sim existe: peça ao programa que chame o VirtualLock função:
Pages that a process has locked remain in physical memory until the process unlocks them or terminates. These pages are guaranteed not to be written to the pagefile while they are locked.
Acredito que a função SetProcessWorkingSetSize também pode ser útil.
Para as pessoas que pensam que sou herege, mesmo sugerindo que isso pode ser útil:
Observe que existem motivos válidos para bloquear páginas na memória. Um motivo válido pode ser o fato de o usuário estar executando um gravador de CD, e o gravador de CD sai constantemente da página e, portanto, causa um estouro de buffer, criando uma base. Nessa situação, seria válido bloquear os buffers de memória para que eles não sejam paginados, mesmo que isso signifique que o restante do computador fique lento, porque isso ainda é melhor do que dar ao usuário uma porta-base. Pode haver outras razões válidas também - meu ponto é, embora não seja recomendado o bloqueio de páginas na memória, situações válidas ainda existem, e eu não acho que matar a idéia ajudaria o OP aqui .
Atualização: dê uma olhada na opção de menu Reduce Working Set
do Process Hacker .