O PowerCLI pode ser usado diretamente em um host ESX. Você não precisa de um servidor vCenter. No entanto, se você quiser clonar VMs, precisará do appliance vCenter. Por que não basta fazer o download e acabar com isso?
(Se você está se referindo a problemas de licenciamento, o PowerCLI só funciona no modo somente leitura com as edições gratuitas do ESXi, tanto quanto eu sei).
O cmdlet Connect-VIServer funciona diretamente com servidores vCenter e hosts ESX.