Algo parecido com isso pode fazer o que você deseja:
find . -name '*_files' -type d -prune -o ! \( -name '*.js' -o -name '*.css' -o -name '*.png' -o -name '*.gif' -o -name '*.jpeg' \)
Se isso imprimir uma lista razoável, adicione -print0 | xargs -o grep -i library
para fazer a pesquisa real.