Isso parece satisfazer sua exigência. Eu não tenho certeza se você está querendo usar os números entre parênteses para validar os comprimentos, mas estou assumindo que não.
echo '(3)www(5)first(3)nth(6)domain(3)com(0)' |
sed -r -e 's/^\([0-9]+\)//' -e 's/(.)\([0-9]+\)(.)/./g' -e 's/\([0-9]+\)$//'
www.first.nth.domain.com
O sed
usa três REs diferentes. A primeira e a última tira as expressões (\d+)
iniciais e finais limitadas. O do meio retira o restante.