Como o erro falta de terminação] para a classe de caracteres já diz, o problema aqui tem a ver com [
, que você precisa escapar. Caso contrário, é entendido como uma classe de caracteres pelo grep.
Além disso, você está dizendo //
, enquanto deseja usar /
em vez de \
de acordo com sua entrada.
Todos juntos, isso imprime um conjunto de palavras depois de [Om/
:
$ echo '[Om/mystring' | \grep -oP '(?<=\[Om\/)\w+'
mystring