"Executando no EC2" pode significar muitos locais. O testador de carga pode estar em us-east-1, mas seu aplicativo em us-west-2, por exemplo. Isso provavelmente seria um teste justo.
Se o testador de carga estiver na mesma região do seu aplicativo, a principal ramificação que posso ver é que haverá pouco tempo de trânsito para seus dados. Isso significa que seu servidor da Web poderá concluir e fechar conexões mais rapidamente do que na Internet pública.
Por exemplo, se suas páginas levarem 100ms para gerar, e a latência para seu usuário médio for de 200ms, mas 10ms dentro de sua região EC2, a solicitação média levará 300ms para usuários normais, mas 210ms para testadores de carga do EC2. Essa é uma diferença significativa com muitas solicitações.