Você só precisa adicionar a opção -P de grep se tiver.
grep -P '\<asp:textbox\b\((?!maxlength).*\>'
Também não é necessário usar a declaração de antecipação negativa e se sua opção grep não tiver / support -P , use grep com a opção de reversão grep -v .
grep -v '\<asp:textbox\b(maxlength.*\>'