Por padrão, o grep usa BREs, por isso você precisa fugir dos parênteses:
grep 'AB\{4\}'
grep '\(AB\)\{4\}'
Você também pode usar os EREs passando a opção -E
, disponível em algumas implementações do grep:
grep -E 'AB{4}'
grep -E '(AB){4}'