当前位置:

首页 > 硬件相关 > Cloudflare 强化爬虫管理 默认屏蔽 AI (D-L)与训练爬虫访问广告页面

Cloudflare 强化爬虫管理 默认屏蔽 AI (D-L)与训练爬虫访问广告页面

Cloudflare细化爬虫管理,依行为贴标签。自2026年9月15日起默认禁止AI训练爬虫访问含广告网页,混合型爬虫任一行为被禁即全禁。还将推出新版归因仪表板、页面变动监控及按使用计价的抓取付费模式。

本文目录

    互联网基础服务企业 Cloudflare 最近搞了个大动作——1号那天,他们宣布要细化对网络爬虫的管理,根据爬虫的具体行为给它们贴上不同的标签,比如搜索、数据采集、模型训练等等。最关键的是,从2026年9月15日起,默认禁止AI训练类爬虫访问那些带广告的网页。这个时间点一出来,业内不少人都在盘算:内容生态的博弈又到新阶段了。

    Cloudflare 的意思其实很直白:大多数网站所有者的心态是矛盾的——既希望自己的内容能被AI发现、被引用,又不想白白损失广告收益。理想情况下,负责任的AI企业会老老实实标记清楚自家爬虫是干什么用的。但现实呢?市面上有相当数量的“混合型爬虫”,一边抓数据做搜索索引,一边顺手拿去训练模型,用途模糊,边界不清。

    这才是新规的巧妙之处:Cloudflare 的爬虫管理器会为混合型爬虫匹配它所有的行为模式。换句话说,只要这个爬虫的某一种行为被网站所有者明确禁止了,它在那个网站上就什么都别想抓。一招封住所有后门,干脆利落。

    除此之外,Cloudflare 还在为网站所有者准备新版归因业务洞察仪表板,目的是帮助大家适应搜索优化从传统的 SEO 到 GEO,再到 AEO(答案引擎优化)的演变。同时会上线页面变动监控功能,避免爬虫对未更新的内容做无意义的重复抓取。更值得关注的是,他们还在推“按使用计价”的抓取付费模式——这意味着,未来内容被爬取可能不再是免费午餐,而是可以量化为实际收入的一部分。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    Cloudflare 与 OpenAI 启动试点项目 利用全球网络洞察数据提升 AI 搜索效率
    Cloudflare 与 OpenAI 启动试点项目 利用全球网络洞察数据提升 AI 搜索效率

    Cloudflare 今天宣布了个大动作——要和 OpenAI 联手搞一个研究试点项目。说实话,这事儿挺有意思。这次合作的核心,是借助 Cloudflare 全球网络积累的网站洞察数据,比如内容的新鲜度、流量质量,以及页面实际更新的情况,来帮 AI 搜索引擎更聪明地在开放网络上发现和索引相关内容。最

    Cloudflare 发布 Precursor一键导入并持续监测机器人流量
    Cloudflare 发布 Precursor一键导入并持续监测机器人流量

    Cloudflare发布持续行为验证型机器人管理引擎Precursor,可一键导入并持续监测机器人流量。该工具通过分析鼠标轨迹、打字节奏等行为模式区分真人或自动化脚本,不记录具体输入字符,保护隐私。当前自动化机器人流量已占网络请求57%。

    Cloudflare CEO 普林斯坦言对公司名称不满但比最初的构想更好
    Cloudflare CEO 普林斯坦言对公司名称不满但比最初的构想更好

    Cloudflare首席执行官普林斯对公司名称表达了不满,认为其过长且发音易混淆。但他承认这仍优于最初考虑的“ProjectWebWall”。尽管名称被调侃,Cloudflare作为互联网关键基础设施提供商,在提升网站性能、防御网络攻击方面作用显著。近期公司裁员约20%,高管解释称是为应对AI使用量激增而进行的结构调整。

    Cloudflare 换上 Gen 13 服务器:单 CPU 核心数量翻倍,代码优化解决 L3 减少
    Cloudflare 换上 Gen 13 服务器:单 CPU 核心数量翻倍,代码优化解决 L3 减少

    Cloudflare 换上 Gen 13 服务器:单 CPU 核心数量翻倍,代码优化解决 L3 减少 Cloudflare 在3月23日揭晓了其新一代 Gen 13 服务器,这次升级的核心看点,可以用“内核翻倍,能效跃升”来概括。新平台将处理器从上一代的96核AMD EPYC 9684X “Geno

    iCloud 私人中继如何工作?苹果合作伙伴 Cloudflare 解释
    iCloud 私人中继如何工作?苹果合作伙伴 Cloudflare 解释

    在去年的iOS15和macOSMonterey12中,Apple添加了一项新的iCloudPrivateRelay功能,有助于保护您的互联网隐私。该功能通过两个独立且安全的互联网中继发送您的所有互联网请求,其中一个由Apple运营,一个由第三方运营。网络基础设施公司Cloudflare是Apple与之合作的合作伙伴之一,它发布了一篇新的博客文章,详细介绍了其在iCloudPrivateRelay流程中的作用。iCloud私人中继的工作原理在周三发布的博客文章中

    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明
    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498预发布说明

    llama.cpp b12489、b12490、b12491、b12492、b12493、b12494、b12496、b12497、b12498 均为预发布构建,分别涉及服务器、语音模型及特定后端;适用范围须按模型、硬件和请求条件区分。

    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分
    MiniMax-H3-Image与DiffSynth-Studio 2.2.2文档配方的硬件条件怎样区分

    MiniMax-H3-Image新增DiffSynth-Studio文档推荐后,配置选择应围绕具体推理配方和独立训练流程展开。文档中的24GB GPU方案分别配合32GB或8GB主机RAM,所用量化、CPU或磁盘卸载方式不同;新增文档入口本身没有发布模型新权重或标注一个新的框架版本。

    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应
    Ollama v0.40.17-rc0更新该看哪些条件,MLX、Vulkan与CLI改进如何对应

    识别Ollama完整rc0预发布标签,区分MLX并发、Vulkan集成显卡mmap、llama.cpp b12257与CLI集成更新边界。

    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法
    宏基笔记本开机没反应怎么办?电源灯亮 黑屏及不通电的解决方法

    宏基笔记本遇到开机没反应、电源灯亮但屏幕黑屏,或者按下电源键完全无反应的情况该怎么办?本文通过界面与状态指示灯的观察,分步骤介绍静电释放、内存重插及外接显示器测试等实用方法,助你自行解决常见启动故障。

    hp笔记本开机没反应电源键和大小写键亮怎么回事
    hp笔记本开机没反应电源键和大小写键亮怎么回事

    惠普笔记本开机时电源键和大小写锁定键亮起,但屏幕无反应?这通常是嵌入式控制器(EC)逻辑错误或静电干扰所致。本文详解如何通过移除外设、长按电源键进行硬件复位来恢复正常启动,并提供BIOS恢复及进一步硬件检测的建议。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。