Eu estava faltando um passo crítico.
cd "C:\NanoServer\"
.\Convert-WindowsImage.ps1 -WIM 'C:\NanoServer\NanoServer.wim' '
-VHD 'C:\NanoServer\ClusterNanoServer.vhdx' '
-VHDFormat VHDX -SizeBytes 10GB -Edition 2 -DiskLayout UEFI
Eu precisava criar um arquivo VHD ou VHDX a partir do arquivo NanoServer.wim, disponível na mídia de instalação do Windows Server 2016.