用Python做文本挖掘的流程 | 数据分析网 首页 分类阅读 行业资讯 大数据 统计学 数据分析
时间: 2016-03-06来源:数据分析网
前景提要
摘要:用 Python 做 文本挖掘 的流程 收集数据 数据集 。如果是已经被人做成数据集了,这就省去了很多麻烦事 抓取。这个是 Python 做得最好的事情,优秀的包有很多,比如 scrapy , beautifulsoup 等等。 预处理(对 这里 的高质量讨论结果的修改,下面的顺序仅限 英文) 去掉抓来的数据中不需要的部分,比如 HTML TAG,只保留文本。结合 beautifulsoup 和正则表达式就可以了。 pattern.web 也有相关功能。 处理编码问题。没错,即使是英文也需要处理编码问题!由于 Python2 的历史原因,不得不在编程的时候自己处理。英文也存在 unicode 和 utf-8 转换的问题,中文以及其他语言就更不用提了。 这里 有一个讨论,可以参考,当然网上也有很多方案,找到一个适用于自己的最好。 将文档分割成句子。 将句子分割成词。专业的叫法是 tokenize。 拼写错误纠正。 pyenchant 可以帮你!(中文就没有这么些破事!) POS Tagging。nltk 是不二选择,还可以使用 pattern 。 去掉标点符号。使用正则表达式就可以。 去掉长度过小的单词。len<3 的是通常选择。 去掉 non-alpha 词。同样,可以用正则表达式完成 W 就可以。 转换成小写。 去掉停用词。Matthew L. Jockers 提供了一份比机器学习和自然语言处理中常用的停词表 更长的停词表 。 中文的停词表 可以参考这个。 lemmatization/stemming。nltk 里面提供了好多种方式,推荐用 wordnet 的方式,这样不会出现把词过分精简,导致词丢掉原型的结果,如果实在不行,也用 snowball 吧,别用 porter,porter 的结果我个人太难接受了,弄出结果之后都根本不知道是啥词了。 MBSP 也有相关功能。 重新去掉长度过小的词。是的,再来一遍。 重新去停词。上面这两部完全是为了更干净。 到这里拿到的基本上是非常干净的文本了。如果还有进一步需求,还可以根据 POS 的结果继续选择某一种或者几种词性的词。 Bag-of-Words ! nltk 和 scikit.learn 里面都有很完整的方案,自己选择合适的就好。这里 如果不喜欢没有次序的 unigram 模型 ,可以自行选择 bi-gram 和 tri-gram 以及更高的 n-gram 模型。nltk 和 sklearn里面都有相关的处理方法。 更高级的特征。 TF-IDF。这个 nltk 和 sklearn 里面也都有。 Hashing ! 训练模型 到这里,就根据自己的应用选择合适的学习器就好了。 分类,情感分析等。 sklearn 里面很多方法,pattern 里有 情感分析的模块 ,nltk 中也有一些分类器。 主题发现 NMF (Online) Latent Dirichlet Allocation word2vec 自动文摘。这个自己写吧,没发现什么成型的工具。 Draw results Matplotlib Tag cloud Graph
说明:在预处理部分仅仅针对英文的情况,由于中英文在分词上是不同的机制,所以在处理中文的时候需要根据情况进行,个人经验是在去停词之前分词。这部分有待完善。 中文分词。 jieba 或者 Stanford (Chinese) Word Segmenter 。jieba 是纯 Python 写的,Stanford 的可以通过 nltk 调用, 复旦 NLP 也可以用 Python 调用。 来源:知乎 作者:肖智博
链接:http://zhuanlan.zhihu.com/textmining-experience/19630762
本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「 我们 」留言处理。

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行