Eu descobri a resposta antes de enviar a pergunta, mas como eu já havia digitado, pensei em postar, caso seja útil para alguém.
A principal coisa que foi necessária foi adicionar o sinal -r (pode ser -E em algumas versões) para informar sed para suportar expressões regulares estendidas, o que é necessário para usar a sintaxe de classe / intervalo de caractere e mais operador [a-z]+ . Isto é exatamente como você tem a ver com grep (por algum motivo eu achei que sed era padronizado para expressões regulares estendidas, mas isso estava incorreto).
Aqui está um exemplo de trabalho:
echo "subdomainxyz.example.com" | sed -r 's/[a-z]+\.example\.com/example.com/'
EDIT (credit steeldriver):
O simples escape do sinal de mais funciona sem que -r seja necessário. Exemplo:
echo "subdomainxyz.example.com" | sed 's/[a-z]\+\.example\.com/example.com/'