É possível sim. Você precisa passar init=/bin/sh
para o kernel e você precisa se lembrar que o rootfs provavelmente foi montado posteriormente.
Para executar diretamente seu programa, você precisa dizer ao kernel para invocá-lo depois de configurar o hardware, mas observe que o espaço de usuário normal não estará disponível para o seu programa.