Teste e veja. Eu ainda defendo começar pequeno ( digamos 1 vCPU e 4GB RAM ) e adicionando recursos conforme necessário.
O problema é que muitas pessoas configuram suas máquinas virtuais para serem . Não caia nessa armadilha.
Não há ponto ideal, pois dependerá do que você eventualmente executa no sistema. Você tem recursos e ferramentas dentro da VM para identificar um desempenho ruim, então aproveite a flexibilidade da virtualização para ajustar e dimensionar corretamente suas VMs.