Sim, você precisa de um servidor da web. Veja o URL que você está solicitando. Se a primeira parte - o protocolo - for "file:", o navegador fará uma pesquisa local pelo arquivo. Se o protocolo for "http:", o navegador abrirá uma conexão de rede na porta 80 para a parte do servidor da URL.
Somente se você tiver conseguido montar algum tipo de compartilhamento de rede no servidor Amazon Linux, poderá usar o protocolo "file:" aqui. Caso contrário, você precisará de um servidor da Web na outra extremidade, mesmo se desejar apenas que o arquivo html seja transferido, não analisado e executado no caso de .php. Felizmente, a instalação do Apache2 faz exatamente isso e não é difícil.