Para ver arquivos de pontos ou ocultos, use
ls -Al
Para ver apenas este arquivo, use
ls -Al .ebextensions
Para removê-lo, use
rm -rf .ebextensions
Apenas tome cuidado com essas opções "-rf", porque elas podem excluir tudo sem perguntar se você as digitou errado.
Além disso, no seu navegador de arquivos, configure-o para mostrar arquivos ocultos e você poderá excluí-lo graficamente.