É o mesmo preço. Sim, seu cálculo está correto; é cobrado esse valor para cada hora em que a instância do EC2 está sendo executada. Quantas pessoas visitam um site cujas páginas você está atendendo a essa instância ou quanto tempo elas passam olhando para essas páginas são irrelevantes para o cálculo de custos.
Se você estiver comprando uma instância que deve estar funcionando 24 horas por dia, 7 dias por semana e não precisar executá-la de forma intermitente ou adicionar mais instâncias em tempo real, talvez também queira procurar outros provedores de hospedagem ao lado da Amazon e da oferta do EC2. É chamado de "elástico" por um bom motivo! :)