A AWS oferece controle sobre isso. Normalmente, a instância T tem um limite rígido na CPU permitida, sem custos adicionais. O novo recurso ilimitado T2 / T3 permite que você use mais CPU e seja cobrado por isso. Provavelmente ainda será mais barato que instâncias de CPU dedicadas como a série M.
Em suma, se usar seus créditos de CPU disponíveis, então sim, você será cobrado pelo uso da CPU.