O que você está pedindo é chamado de DMA. Você precisa escrever um driver para reservar essa memória.
Sim, eu sei que você disse que não queria que o sistema operacional interviesse e que um driver se tornasse parte do SO, mas, na ausência de uma reserva de driver, o kernel acredita que toda a memória pertence a ele. (A menos que você diga ao kernel para ignorar o bloco de memória, isto é, por resposta de Aaron.)
Capítulo 15 (PDF) de " Drivers de Dispositivos Linux, 3 / e ", de Rubini, Corbet e Kroah-Hartmann, abrangem DMA e tópicos relacionados.
Se você quiser uma versão em HTML, achei a segunda edição do capítulo a> em outro lugar online. Tenha em atenção que a segunda edição já tem mais de uma década, tendo surgido quando o kernel 2.4 era novo. Tem havido muito trabalho no subsistema de gerenciamento de memória do kernel desde então, então pode não se aplicar muito mais.