当前位置:

首页 > 编程开发 > Python实现对新闻数据去重处理的方法详解

Python实现对新闻数据去重处理的方法详解

前言 做新闻爬虫、新闻数据分析、舆情项目的时候,大家肯定会遇到一个头疼的问题:海量重复新闻数据。同一篇新闻被多家网站转载,标题改一两个字、内容局部修修补补、发布时间不同,但本质就是同一条新闻。如果不去重,统计结果失真、数据库膨胀、分析结果被重复样本干扰,整个项目都会跑偏。 新闻去重和普通文本去重还真

本文目录

    前言

    做新闻爬虫、新闻数据分析、舆情项目的时候,大家肯定会遇到一个头疼的问题:海量重复新闻数据。同一篇新闻被多家网站转载,标题改一两个字、内容局部修修补补、发布时间不同,但本质就是同一条新闻。如果不去重,统计结果失真、数据库膨胀、分析结果被重复样本干扰,整个项目都会跑偏。

    Python实现对新闻数据去重处理的方法详解

    新闻去重和普通文本去重还真不太一样——不能简单粗暴地直接比字符串。常见的坑:标题多一两个字、换行空格不同、HTML标签残留、转载时增删导语,直接拿==全等匹配,会漏掉大量重复样本。

    这篇文章会从简单到工业可用,分享几套Python处理新闻数据的实用方案,涵盖精准去重、模糊去重、海量新闻场景优化,希望能帮到正在做类似项目的朋友。

    一、简单场景:基于标题MD5精准去重

    适用场景:新闻标题完全一致,只是来源、发布时间字段不一样。原理很简单:把标题做md5哈希,保存哈希值,新来的数据判断哈希是否已经存在。

    优点:速度极快,内存占用低;缺点:标题稍微改动就失效,转载改标题就识别不出重复。

    import hashlib
    
    def get_md5(text: str) -> str:
        """文本生成md5"""
        return hashlib.md5(text.strip().encode("utf-8")).hexdigest()
    
    news_list = [
        {"title": "人工智能行业迎来新一轮发展机遇", "content": "正文1...", "source": "A网"},
        {"title": "人工智能行业迎来新一轮发展机遇", "content": "正文1...", "source": "B网"},
        {"title": "大模型应用落地加速", "content": "正文2...", "source": "C网"},
    ]
    
    seen = set()
    distinct_news = []
    for item in news_list:
        title = item["title"].strip()
        h = get_md5(title)
        if h not in seen:
            seen.add(h)
            distinct_news.append(item)
    
    print(f"原始:{len(news_list)} 去重后:{len(distinct_news)}")
    

    需要提醒的是:转载新闻经常修改标题,比如加个【快讯】、改个标点,标题md5就直接失效了。这种方案适合小规模、标题几乎不变的数据集。

    二、预处理清洗文本(所有去重方案的前置步骤)

    新闻网页拿到的数据常常混杂HTML标签、换行、空格、特殊符号、【】、#、摘要标记。无论后面用哪种算法,一定要先清洗文本,这一步直接决定了去重效果的下限。

    import re
    
    def clean_news_text(text: str) -> str:
        """清洗新闻文本,去掉干扰符号"""
        if not text:
            return ""
        # 去除html标签
        text = re.sub(r"<.*?>", "", text)
        # 去掉各类特殊符号、换行、多余空格
        text = re.sub(r"[【】《》#@nrt]", "", text)
        text = re.sub(r"s+", "", text)
        return text.strip()
    

    使用建议:优先清洗标题,条件允许可以清洗正文片段。清洗后再做哈希、相似度计算,准确率能提升一大截。

    三、局部敏感哈希 SimHash:新闻行业经典模糊去重

    新闻去重最经典的算法当属SimHash。核心思想:把长文本转为指纹,指纹相似度高就判定为重复新闻。即使改几个字、增删几句话,依然可以识别是同一篇新闻。非常适合转载新闻、正文局部改动、标题微调的场景。

    simhash简单实现

    import hashlib
    
    def get_hash(s):
        return int(hashlib.md5(s.encode("utf-8")).hexdigest(), 16)
    
    def simhash(text: str, bit=64):
        words = list(text)
        v = [0]*bit
        for word in words:
            h = get_hash(word)
            for i in range(bit):
                if h >> i & 1:
                    v[i] +=1
                else:
                    v[i] -=1
        fingerprint = 0
        for i in range(bit):
            if v[i]>0:
                fingerprint |= 1 << i
        return fingerprint
    
    def hamming_distance(h1, h2):
        return bin(h1 ^ h2).count("1")
    
    # 测试
    news1_title = clean_news_text("人工智能行业迎来新一轮发展机遇")
    news2_title = clean_news_text("【快讯】人工智能行业迎来新一轮发展机遇!")
    
    fp1 = simhash(news1_title)
    fp2 = simhash(news2_title)
    
    dist = hamming_distance(fp1, fp2)
    print(f"汉明距离:{dist}")
    # 新闻业务经验阈值:汉明距离 <=3 判定为重复新闻
    if dist <=3:
        print("判定为重复新闻")
    

    业务经验阈值:

    • 汉明距离 ≤2:高度重复,几乎一样
    • 汉明距离 3~4:大概率转载新闻
    • 汉明距离 >5:判定为不同新闻

    注意:完整simhash工程实现一般用分词(jieba)而不是按单字切割,效果更好。

    结合jieba分词优化simhash

    import jieba
    
    def simhash_by_jieba(text:str, bit=64):
        words = jieba.lcut(text)
        v = [0]*bit
        for w in words:
            h = get_hash(w)
            for i in range(bit):
                if h >> i &1:
                    v[i] +=1
                else:
                    v[i] -=1
        fp =0
        for i in range(bit):
            if v[i]>0:
                fp |= 1 <
    

    真实项目里,海量新闻库直接两两计算汉明距离速度很慢,一般会做分桶,把指纹分段存储,只对比同桶内指纹,大幅降低计算量。

    四、使用文本相似度:difflib 快速比对

    适合小数据集,直接计算文本相似度得分,简单开箱即用。

    from difflib import SequenceMatcher
    
    def text_similarity(a:str,b:str)->float:
        return SequenceMatcher(None,a,b).ratio()
    
    t1 = clean_news_text("大模型产业正在快速发展")
    t2 = clean_news_text("快讯:大模型产业正在快速发展!")
    
    score = text_similarity(t1,t2)
    print(f"相似度得分:{score:.2f}")
    if score >=0.85:
        print("判定重复新闻")
    

    优点:简单,无需第三方库;缺点:数据量大的时候复杂度是O(n²),上万条新闻就会很慢,适合小批量处理。

    五、数据库场景下新闻去重实战

    爬虫入库的时候,我们通常不希望内存保存全部指纹,而是把指纹存到MySQL。流程如下:

    1. 新闻清洗标题、正文
    2. 生成simhash指纹、md5标题指纹
    3. 入库前查询数据库,比对指纹,判断是否重复;重复则跳过保存。

    建表参考:

    CREATE TABLE news(
        id BIGINT PRIMARY KEY AUTO_INCREMENT,
        title VARCHAR(500),
        content TEXT,
        source VARCHAR(100),
        publish_time DATETIME,
        title_md5 CHAR(32),
        simhash_fp BIGINT UNSIGNED,
        INDEX idx_title_md5(title_md5)
    );

    业务逻辑伪代码:

    # 拿到爬虫新闻
    raw_news = {...}
    clean_title = clean_news_text(raw_news["title"])
    md5_val = get_md5(clean_title)
    fp = simhash_by_jieba(clean_title)
    
    # 查询数据库是否存在重复
    # 优先匹配title_md5;如果没有,再做simhash汉明距离比对
    

    注意:MySQL直接大量计算汉明距离性能很差,百万级新闻建议使用分桶策略,或者使用ES向量检索辅助去重。

    六、不同方案选型对比

    方案适用场景优点缺点
    标题MD5哈希标题完全一致速度极快标题微调失效,无法识别转载改写新闻
    difflib相似度小数据集,几千条以内简单,无需第三方库大数据量性能差
    SimHash新闻转载、文本局部改动工业界新闻去重标准,抗改写需要调参,海量数据需要分桶优化

    七、生产环境踩坑经验

    1. 不要只用标题做去重:部分新闻标题一样,内容完全不同;条件允许,标题+正文摘要共同生成simhash。
    2. 一定要做文本清洗:网页符号、【快讯】、换行空格会严重干扰指纹结果。
    3. 阈值不要写死:短文本(短标题)汉明距离阈值调小;长正文阈值可以适度放大。
    4. 海量新闻不要两两循环比对,n²复杂度会爆炸,要用simhash分桶或者向量库。
    5. 时间差异:同一条新闻不同时间转载,simhash可以识别,单纯md5会识别成新新闻。

    八、总结

    新闻数据去重分两个层级:精准去重(MD5)和模糊去重(SimHash)。

    • 如果只是简单爬虫,标题基本不变,MD5足够简单高效;
    • 如果做舆情、新闻分析,大量转载改写新闻,优先使用基于jieba分词的SimHash算法。

    预处理清洗是所有方案的基础,很多人去重效果差,根源就是没有做文本清洗,特殊符号干扰指纹。如果数据量达到百万级别,内存方案已经扛不住,就需要结合数据库分桶策略,或者接入Elasticsearch向量检索做大规模新闻去重。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Python
    相关文章 更多
    python删除一个列表里的重复元素的方法与代码示例
    python删除一个列表里的重复元素的方法与代码示例

    学习如何使用Python高效删除列表中的重复元素。本文提供5种常见方法的代码示例,涵盖保持顺序与不保持顺序的场景,适合初学者和进阶开发者参考。

    Python写接口的步骤及完整代码示例
    Python写接口的步骤及完整代码示例

    详细讲解使用Python编写Web接口的核心步骤与完整代码示例,涵盖环境准备、路由定义、数据校验、服务启动及调试测试方法。

    codex怎么读取word文档及docx文件操作教程
    codex怎么读取word文档及docx文件操作教程

    介绍如何利用编程工具读取和解析Word文档(docx格式),涵盖基础文本提取代码示例、结构化数据处理逻辑,以及处理复杂排版时的技术局限与替代方案。

    怎么在Python中调用C语言代码提升性能
    怎么在Python中调用C语言代码提升性能

    详细讲解在Python中调用C语言代码提升性能的完整实践指南,包含原理分析、编译步骤、ctypes与CFFI具体实现、性能对比及常见陷阱。

    Python与C语言的性能差异及底层原理
    Python与C语言的性能差异及底层原理

    深入解析Python与C语言在执行效率上的数量级差异,从编译机制、变量内存布局、动态类型推断到GIL锁,系统阐明底层核心原理。

    Python和C语言哪个更适合编程入门
    Python和C语言哪个更适合编程入门

    客观对比Python与C语言在心智负担、底层机制与学习反馈上的核心差异,提供清晰有据的选择标准与切实的入门学习路径。

    selenium上传文件教程本地文件路径设置方法
    selenium上传文件教程本地文件路径设置方法

    深入解析Selenium处理文件上传的技术细节,涵盖标准HTML控件的路径直接注入法与非标准控件的系统级模拟方案,提供Windows与Linux环境下的路径设置最佳实践及常见异常排查。

    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景
    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景

    针对大数据工程场景,系统对比Java、Scala与Python在执行性能、生态结合、开发效率和维护成本上的核心差异,给出清晰的架构选型依据与落地方案。

    langgraph python guide中文入门教程详解
    langgraph python guide中文入门教程详解

    本篇LangGraph Python中文入门教程详解,系统梳理StateGraph状态机定义、节点编写、边与条件路由、检查点持久化(MemorySaver)等核心机制,提供从环境安装到完整循环智能体构建的代码示例与实操指导。

    Windows 安装 Python:从官方入口到虚拟环境的可复现实践
    Windows 安装 Python:从官方入口到虚拟环境的可复现实践

    面向后端开发者,基于 Python 官方文档说明如何在 Windows 上安装 Python、创建 venv 虚拟环境及使用 pip 管理依赖。包含可复制命令、验证方法及工具选择边界,避免常见配置误区。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。