Não existe uma facilidade geral para hibernar um único processo, apenas o sistema inteiro.
No entanto, se você não se importa que a imagem do processo não sobreviva a uma reinicialização, existe um recurso interno para salvar a imagem do processo no disco: a troca. Certifique-se de ter espaço de troca suficiente, e se houver pressão de memória e o processo não estiver ativo (por exemplo, porque está suspenso), sua memória será trocada.
Se você sabe que o processo provavelmente ficará inativo por um longo tempo e que precisará de um tempo de resposta rápido em algum momento, poderá forçar uma grande quantidade de RAM a ser liberada agora alocando um monte de RAM em um processo de curta duração, por exemplo,
perl -e '$tmp = "a" x 999999999' # allocate about 1GB
Você não obtém nenhum controle sobre o que é trocado, para que outros processos possam ser trocados. No Linux, você pode trocar um processo de volta forçosamente acessando as páginas que ele mapeia. O script em esta resposta fará isso: carregar na memória todas as páginas mapeadas por um processo (observe que isso inclui arquivos abertos; você pode percorrer regiões seletivamente com base nas informações do mapa para evitar a troca de dados que você sabe que não precisará, consulte esta resposta para mais informações).