Maybe I must install X first or something else?
Eu não estou familiarizado com o minúsculo núcleo, mas espero que ele não deixe você instalar o openbox a menos que o X já esteja lá, já que um gerenciador de janelas é inútil sem o servidor X. Se você viu algum GUI nele, acho que você instalou o X.
Nesse caso, o problema é provavelmente que você não tem o X executando;). Geralmente, para fazer com que ele inicie um gerenciador de janelas específico, é necessário criar um $HOME/.xinitrc ou $HOME/.Xclients ... esperançosamente minúsculo núcleo segue esse padrão. Dê uma olhada na minha resposta aqui de ontem e substitua myGUIapp por openbox no arquivo Xclients do exemplo. O ponto desse arquivo é o último de uma série que o servidor X executa na inicialização. Infelizmente, onde esse arquivo deve estar e o que deve ser chamado pode variar, mas eu mencionei os lugares mais comuns nessa resposta.