Consegui testar isso e posso confirmar que funciona.
Considerando que o ElasticBeanstalk assume que seu Dockerfile irá construir e adicionar à imagem base, não é realmente necessário fazer isso.
O Dockerfile pode simplesmente referir-se à imagem de base que você deseja usar (por exemplo, no AWS ECR) e a porta que você deseja expor quando é implantada na instância do ElasticBeankstalk.
Isso permite usar ebextensions em um ambiente do Docker de contêiner único.