Você pode ler a lista de arquivos em um loop while (veja BashFAQ # 020 ):
find . -name "*.csv" -type f -print0 | while IFS= read -d $'find . -name "*.csv" -type f -print0 | while IFS= read -d $'%pre%' -r file ; do
echo "$file"
cat "$file"
done >allmycsv.txt
' -r file ; do
echo "$file"
cat "$file"
done >allmycsv.txt