Eu resolvi esse problema certificando-me de que no VS você inclua Todos os arquivos no projeto.
Eu pensei que, marcando os scripts como Conteúdo / Copiar sempre , eles seriam incluídos no destino, que eles estão, mas sob a pasta bin. A questão é que as .ebextensions precisam estar na raiz do site, e você só pode conseguir isso selecionando em Package / Publish Web a opção Include All Files. Isto irá copiar as .ebextensions na raiz do site, as quais serão então apanhadas pelos trabalhadores do Elastic Beanstalk.