Encontrou o mesmo problema. Dentro da seção <videoscreen>
do arquivo ~/.kodi/userdata/guisettings.xml
você precisa mudar isso:
<screenmode default="true">DESKTOP</screenmode>
Para isso:
<screenmode>WINDOW</screenmode>
Inicie o Kodi agora e ele será exibido em janela.