Dê uma olhada no webpagetest.org, fiz um teste no seu site. Está me dizendo para o primeiro pedido que não há tempo gasto em negociações SSL, que é hora de primeiro byte. Isso é normalmente o tempo de processamento, se você pode armazenar em cache no Nginx para usuários que não estão logados que poderiam ir fazer.
As solicitações estranhas para arquivos JS estão demorando na negociação SSL, enquanto os outros arquivos não estão. Eu não sei porque é isso. Espero que alguém mais consiga resolver isso.
O GTMetrix diz que sua página está bem formada.
Para acelerar as coisas, você pode colocar CloudFlare na frente do site, o que pode fazer algum armazenamento em cache, dependendo de onde estão os data centers de CF. Eles também fazem SSL para você e são muito bons nisso.
O armazenamento em cache da página Nginx também pode ajudar, pois os usuários que não estão conectados podem ter uma grande aceleração. Eu tenho um artigo sobre aqui .
Não é por causa do DNS, isso é rápido. Nunca ajuda a ir mais rápido. O Route 53 seria mais rápido, mas custa dinheiro. O CloudFlare tem um plano gratuito e funciona bem com a AWS. No entanto Route 53 é um plano razoável, mas eu não iria focar sua atenção lá primeiro.
Também pode ser por causa da latência, que você não pode consertar além de um CDN. Onde está o servidor em relação a você - qual é o tempo de ping? Eu posso ver que está na AWS na região de ap-southeast-1 - não tenho certeza qual delas é.