Encontrei um muito interessado em alguns artigos sobre um bug, post1 e post2 no driver de instalação / disco que explicou por que não executado em muitas plataformas de hardware ao longo dos anos.
O link, além de explicar o bug, também aponta que o VirtualBox parece emular o comportamento e é capaz de inicializar esses sistemas operacionais.
Então eu instalei o Virtualbox.
Embora não reconhecesse um disco SCSI emulado, reconheceu um disco IDE emulado < 250MB e de fato entrou na fase de instalação.
Setting up installation environment...
%disk 0x1F0-01F7 14 - type=W0 unit=0 cyls=734 hds=16 secs=31
Welcome to the SCO Unix installation.
Installation media used will be Compact Disc (CD-ROM)
Hit return to continue
...so I grabbed QEMU, and popped N1 in and booted it up. Unfortunately, the system would hang almost immediately after. Some testing revealed that the same issue existed on Bochs. PCjs got a bit further, but kernel panicked nearly immediately. Somewhat surprising to me though was VirtualBox not only booted, it got to the first step of the installer.
The OS is extremely picky about the hardware and BIOS and won’t boot at all in many virtualizers. It also contains an interesting bug in the AT disk driver (called ‘wd1010’ in this XENIX kernel version) which causes the system to hang if the controller, or more likely an IDE disk, responds “too fast” to the Set Drive Parameters command.
P.S. Parece haver sugestões que as pessoas conseguiram hackear / consertar o bug. Não há documentação sobre isso, e o processo deve ser específico para as versões hackeadas.