1. 朴素贝叶斯算法如何识别垃圾邮件每天打开邮箱我们都会面对几十封甚至上百封邮件。其中不少是广告推销、钓鱼诈骗等垃圾邮件。你有没有想过邮箱系统是如何自动识别并过滤这些垃圾邮件的这背后就有朴素贝叶斯算法的功劳。朴素贝叶斯算法之所以适合处理文本分类问题是因为它能够很好地处理高维特征。一封邮件通常包含几十到几百个单词每个单词都可以看作一个特征。传统算法很难处理这么多特征但朴素贝叶斯却能轻松应对。举个例子假设我们收到一封包含免费、赢取、大奖等词语的邮件。朴素贝叶斯算法会计算这些词语在垃圾邮件和正常邮件中出现的概率然后综合判断这封邮件属于垃圾邮件的可能性有多大。这种基于概率的判断方式使得算法既快速又准确。2. 贝叶斯定理的数学原理要理解朴素贝叶斯首先要掌握贝叶斯定理。这个定理告诉我们如何根据已知信息更新概率判断。公式看起来很简单P(A|B) P(B|A) * P(A) / P(B)但这个简单的公式却能解决很多实际问题。比如医生诊断疾病已知某种疾病会导致特定症状P(症状|疾病)现在观察到病人有这些症状想反推患病的概率P(疾病|症状)这正是贝叶斯定理的用武之地。在邮件过滤场景中P(垃圾邮件)是先验概率即所有邮件中垃圾邮件的比例P(词语|垃圾邮件)是条件概率表示某个词语在垃圾邮件中出现的概率P(垃圾邮件|词语)就是我们要计算的后验概率3. 朴素贝叶斯的朴素之处这个算法之所以叫朴素贝叶斯是因为它做了一个大胆的假设所有特征之间相互独立。也就是说它假设邮件中每个词语的出现与否与其他词语无关。显然这个假设在现实中并不完全成立。比如免费和获取这两个词经常一起出现。但有趣的是即便这个假设不完美朴素贝叶斯在实际应用中仍然表现很好。这种条件独立性假设带来了巨大优势大大简化了计算复杂度减少了对训练数据量的需求在很多场景下仍能保持不错的准确率4. 处理零概率问题的技巧在实际应用中我们经常会遇到这样的情况测试邮件中出现了一个训练集中从未见过的词语。按照朴素贝叶斯的计算方式这个词语的概率为零会导致整个计算结果为零。为了解决这个问题我们使用拉普拉斯平滑技术。具体做法是在计算概率时给每个词语的计数加1同时调整分母。这样既避免了零概率问题又不会对整体概率分布造成太大影响。在代码实现中我们初始化词频计数为1而不是0就是这个原因p0Num np.ones(numWords) # 初始化为1 p1Num np.ones(numWords) p0Denom 2.0 # 分母初始化为2 p1Denom 2.05. 从理论到实践的完整实现现在让我们看看如何用Python实现一个完整的垃圾邮件过滤器。整个过程可以分为几个关键步骤数据预处理将原始文本转换为词向量训练阶段计算各个词语的条件概率预测阶段对新邮件进行分类数据预处理环节特别重要。我们需要将邮件内容分割成单词统一转换为小写过滤掉过短的单词去除标点符号等无关字符def textParse(bigString): listOfTokens re.split(r\W, bigString) return [tok.lower() for tok in listOfTokens if len(tok) 2]训练阶段的核心是计算每个词语在不同类别中的出现概率。这里我们使用对数概率来避免数值下溢问题p1Vect np.log(p1Num / p1Denom) p0Vect np.log(p0Num / p0Denom)6. 评估模型性能的技巧构建好模型后我们需要评估它的表现。常见的做法是将数据集分为训练集和测试集然后计算在测试集上的准确率。在我们的实现中随机选择6封邮件作为测试集其余34封用于训练trainingSet list(range(40)) testSet [] for i in range(6): randIndex int(random.uniform(0, len(trainingSet))) testSet.append(trainingSet[randIndex]) del(trainingSet[randIndex])评估指标通常包括准确率正确分类的邮件比例召回率实际垃圾邮件中被正确识别的比例精确率被识别为垃圾邮件的邮件中确实是垃圾邮件的比例7. 实际应用中的优化方向虽然基础版的朴素贝叶斯已经能取得不错的效果但在实际应用中还可以做很多优化使用词袋模型考虑词语出现的频率而不仅仅是是否出现加入停用词处理过滤掉的、是等无实际意义的词语特征选择只保留信息量大的关键词处理邮件头部信息发件人、主题等也包含重要信息词袋模型的实现只需要稍作修改def bagOfWords2VecMN(vocabList, inputSet): returnVec [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] 1 return returnVec8. 为什么朴素贝叶斯适合邮件过滤朴素贝叶斯在邮件过滤任务中表现出色有几个关键原因处理高维特征能力强一封邮件可能包含数百个单词计算效率高训练和预测都很快对缺失数据不敏感个别词语缺失不会严重影响结果容易实现算法简单直接在实际系统中朴素贝叶斯常常和其他技术结合使用。比如先用规则过滤掉明显的垃圾邮件剩下的再用朴素贝叶斯分类。或者将朴素贝叶斯作为第一层过滤器再用更复杂的模型进行二次判断。