Se eles estiverem no mesmo diretório, você pode fazer isso:
sed -i 's|http://cdn1.domain.com|https://cdn1.domain.com|g' *.html
Se não, corra encontrar:
find . -name "*.html" -exec sed -i 's|http://cdn1.domain.com|https://cdn1.domain.com|g' {} \;