Eu usaria o suplemento de consulta de energia para isso. O Power Query é um suplemento gratuito da Microsoft para o Excel 2010 e 2013 e foi incorporado ao Excel 2016 na faixa de opções Dados, em Obter & Transforme.
A maneira mais fácil seria exportar os arquivos CSV para uma pasta. Em seguida, clique em Nova consulta / Do arquivo / da pasta. O Power Query detectará automaticamente títulos de coluna, tipos de dados, etc. e anexará os dados de todos os arquivos da pasta em uma única tabela do Excel.
Nenhum código é necessário.