朴素贝叶斯分类器从不同地域广告中获取地域广告用词倾向区别

Poblog 05月12日 2018


从美国的两个城市中选取一些人, 通过分析这些人发布的征婚广告信息,来比较这两个城市的人们在广告用词上是否不同,如果结论确实是不同,那么他们各自常用的词是哪些?从人们的用词当中,我们能否对不同城市的人所关心的内容有所了解

大致流程算法和区分广告邮件的差不多下面记录差异的部分

1.对所有词出现频率进行排序,返回排序后出现频率最高的前30个

2.训练词表去掉出现频数最高的钱30个词(关键)

3.trainingSet取较小rss源的文档数的两倍

4.testSet随机取20个文档

5.按区分广告邮件的的操作从trainingSet剔除掉testSet

6.交叉测试分类错误率并返回 listOPosts, p0V, p1V

挑出最具代表性的词汇

最具代表性的词汇显示函数

由于p0V, p1V 中的单个值表示了某个单词属于0或者1的概率,我们只需要指定一个概率阀值便可以得到大于该阀值得所有单词并且按概率顺序排序然后将单词输出即可,下面是摘要的书中的结果

Cinque Terre