Para concatenar arquivos que você usa
cat file1 file2 file3 ...
Para obter uma lista de nomes de arquivos citados por hora, o mais novo primeiro, você usa
ls -t
Colocando tudo junto,
cat $(ls -t) > outputfile
Você pode querer dar alguns argumentos para ls (por exemplo, *.html ).
Mas se você tiver nomes de arquivos com espaços, isso não funcionará. My file.html será considerado como dois nomes de arquivos: My e file.html . Você pode fazer com que ls cite os nomes dos arquivos e, em seguida, use xargs , que entende as citações, para passar os argumentos para cat .
ls -tQ | xargs cat
Quanto à sua segunda pergunta, filtrar partes de arquivos não é difícil, mas depende exatamente do que você deseja remover. Quais são os "cabeçalhos redundantes"?