grep -r -I -l 'yourstring' . | xargs rm
O sinalizador -l exibe o caminho dos arquivos correspondidos. | canaliza para o próximo comando, que é xargs. xargs executa seu argumento (rm) para cada linha que recebe via STDIN (fornecido pelo canal.)
tenha cuidado ao fazer isso. rm não perguntará 'você tem certeza', e não há undelete.