Muitas vezes construímos dicionários em fóruns online para palavras típicas usadas em um fórum, o usuário responde no seguinte formato em um fórum phpbb
term: defination
portanto, o trabalho é coletar todas essas entradas exclusivas, eliminando o ruído, normalmente copiamos a página inteira e a classificamos para remover o ruído:
Joined: Fri Jan 24, 2014 9:49 pm Joined: Fri Jun 05, 2009 5:57 pm Joined: Mon Jul 07, 2014 7:20 am Joined: Mon Jul 07, 2014 7:20 am Joined: Mon Nov 25, 2013 6:46 am Posts: 49 Posts: 49 Posts: 49 Posts: 49 Posts: 5 Posts: 8152 Progessium: A light peptide necoliye
Então, como uma linha de comando ou um script python pode classificar o conteúdo acima, removendo ruídos e obtendo apenas entradas em ordem alfabética, como:
Progessium: A light peptide necoliye
Tags command-line python forum