Não, (pelo menos não que eu esteja ciente de qualquer recurso que permita que o kernel carregue em swap) ele faz uso do sistema de paginação (ou swap) para LKMs e processos em execução.
O kernel do linux é carregado na memória do sistema. Dependendo do tamanho do kernel (que cresceria exponencialmente quando usado sem módulos de kernel carregáveis, ou módulos estáticos para drivers de dispositivos, etc.), o sistema pode / ou não ter memória física suficiente para carregar. Em seguida, expõe uma API para 'kernel' & 'usuário' recursos de memória terrestre. Aqui está um recurso para chipsets ARM .