Na programação, você pode especificar qual tipo de arquivo você está procurando usando os atributos desse arquivo.
Aqui está um bom exemplo: link
Você simplesmente procurará arquivos que correspondam ao tipo de arquivo desejado (não oculto).
Tenha em mente que seu método de exclusão provavelmente será recursivo, pois comandos como KILL (filepath) não funcionarão, já que são estritamente para TODOS os arquivos em um diretório. Estou respondendo com base em como você declara o VBA em sua pergunta.