Não há uma opção VBoxManage modifyvm
específica porque esse comportamento é específico da GUI, mas a saída HiDPI sem escala pode ser definida a partir da linha de comando com:
VBoxManage setextradata VM_NAME GUI/HiDPI/UnscaledOutput 1
Veja: link