Suponha que você esteja usando bash como seu shell no Cygwin (isto é, por padrão), você pode usar o recurso de expansão de parâmetro bash da seguinte forma:
for x in *.txt; do
sed '1,4d' $x > ${x%.txt}2.txt
done
A chave é $ {x% .txt} para remover o sufixo do nome do arquivo (.txt) e, em seguida, acrescentar "2" e ".txt" como exemplo.
Existem outras refatorações: usar " ls
" para obter a lista de arquivos a serem editados é redundante, usando a expansão do nome do caminho do próprio shell é suficiente.