Fale mais sobre o seu servidor, por favor. Quais recursos estão disponíveis para você, como CPU, memória, discos, largura de banda, SO, qual software de servidor web, etc.?
Um site que existe apenas de arquivos estáticos geralmente pode manipular uma grande quantidade de visitantes em qualquer servidor decente. Wordpress é outra questão, uma vez que requer mais recursos para lidar com um pedido, mas você deve olhar para o plugin WP Super Cache , que gera páginas estáticas do conteúdo dinâmico. Isso fará uma grande diferença quando seu site estiver sendo atacado.
Eu não entraria no S3 ou em outro CDN (Content Delivery Network) a menos que você seja um desenvolvedor experiente e um administrador de sistema experiente (ou você pode contratar alguém que seja). Você precisará descobrir seus gargalos reais antes de mergulhar em soluções que soam bem.
Comece com alguns benchmarks para ver o desempenho do seu servidor. Não é exatamente a vida real, mas lhe dará uma idéia de seus limites. O ab (Apache Benchmark) é um bom lugar para começar.