Você pode usar a funcionalidade Text to Columns do Excel no menu Data.
Vai levar vários passes, mas você pode fazer isso sem fórmula ou vba.
Você pode especificar seus próprios delimitadores. Assim, você pode escolher .
para separar a extensão e, em seguida, /
para dividir a estrutura de diretórios. Então você pode escolher _
para separar o nome do arquivo.
Você pode definir as diferentes colunas como Text
para evitar que o Excel as trate como números ou defina outras colunas como Do not import (skip)
para que sejam removidas.