Eu encontrei uma solução para esse problema. Acontece que não é possível inicializar a partir do NVMe no modo BIOS. Apenas UEFI é suportado. No entanto, meu disco de instalação foi inicializado no modo BIOS, então o instalador tentou configurar as coisas como tal. A solução era entrar na configuração do BIOS, forçar a ordem de inicialização a considerar apenas dispositivos UEFI e reinstalar o sistema operacional. O Ubuntu Wiki tem mais informações sobre a instalação no modo UEFI. Em particular, se o menu de inicialização for preto em vez de roxo, você estará no modo UEFI.