如何通过Apache配置实现防盗爬

网站内容被恶意爬虫疯狂抓取，是件让人头疼的事。说白了，不仅消耗服务器资源，还可能导致原创内容被搬运得遍地都是。那么，在Apache环境下，有哪些行之有效的防护手段？下面就把几种主流的配置思路拆开来看看。

1. 用mod_rewrite模块做“看门人”

这是Apache的老牌模块，通过URL重写规则来限制访问，灵活度很高。操作起来也不复杂。

RewriteEngine On
# 封禁指定IP
RewriteCond %{REMOTE_ADDR} ^123.456.789.0$
RewriteRule .* - [F]
# 封禁指定User-Agent
RewriteCond %{HTTP_USER_AGENT} ^BadBot$
RewriteRule .* - [F]

简单来说，你可以根据IP地址或请求头中的User-Agent来阻断爬虫。哪怕是个“偷数据”的机器人，只要它的特征被识别出来，就能直接拒之门外。

2. 引入mod_security防火墙模块

如果你的防护需求更严格，那么mod_security（Web应用防火墙）是个不错的选择。它能检测恶意请求，规则配置也更精细。

安装启用后，在配置文件中加入类似下面的规则，就能做到“见一个拦一个”。

LoadModule security2_module modules/mod_security2.so

SecRuleEngine On
SecRequestBodyAccess On
SecResponseBodyAccess On
# 封禁User-Agent
SecRule REQUEST_HEADERS:User-Agent "@pm BadBot" "id:1234567,deny,status:403"
# 封禁IP
SecRule REMOTE_ADDR "@ipMatch 123.456.789.0" "id:1234568,deny,status:403"

从实际效果来看，这相当于给网站加了一层“防弹衣”，能有效过滤掉大部分非正常访问。

3. 利用Require指令，简单直接

如果你用的是Apache 2.4或更高版本，事情会简单不少。Require指令可以直接在目录配置中设置访问权限。

Require all granted
Require not ip 123.456.789.0
Require not expr %{HTTP_USER_AGENT} =~ /BadBot/

这种方式的逻辑很清晰：先放行所有请求，再把爬虫的IP或特征排除出去。既直观，又便于维护。

4. 通过SetEnvIf模块，动态拦截

如果你习惯从HTTP头部信息入手，SetEnvIf模块能帮你实现“条件式拦截”。它可以根据请求头设置环境变量，然后基于变量做出决策。

SetEnvIf User-Agent "BadBot" bad_bot

Order allow,deny
Allow from all
Deny from env=bad_bot

可以这样理解：只要检测到爬虫特征，就给它打上一个“坏蛋”标签，再顺手关上门。属于一种“先识别，再处理”的策略。

5. 调用mod_evasive模块，应对大流量冲击

假如遇到恶意的频繁请求或是DDoS攻击，mod_evasive模块能发挥大作用。它通过监控请求频率，自动阻断过于密集的访客。

LoadModule evasive20_module modules/mod_evasive20.so

DOSHashTableSize 3097
DOSPageCount 2
DOSSiteCount 50
DOSPageInterval 1
DOSSiteInterval 1
DOSBlockingPeriod 10

值得一提的是，这套配置特别适合防范那些“疯狂刷新页面”的爬虫，能有效降低服务器压力。

几点提醒

第一，测试先行。任何防护配置在上线之前，都建议先在测试环境里跑一遍。毕竟谁都不想因为写错一个规则，误把正常用户挡在门外。

第二，策略要动态调整。爬虫技术也在不断进化，定期更新拦截规则是必须的。别指望一套规则用到老，那样迟早会失效。

第三，日志别忽视。服务器日志是一面镜子。定期查看访问记录，可以帮你发现异常模式，及时优化拦截策略。

说到底，防盗爬并没有一劳永逸的“银弹”。结合上述方法，配合持续的监控和迭代，才能让网站内容真正安全。