Ruby实现网页图片抓取
一个Ruby模块封装了网页图片抓取流程：通过Nokogiri解析HTML，遍历141个评论分页，用CSS选择器定位图片并提取src属性，调用download_img方法下载到本地public/meizi/目录，包含异常处理以应对坏链或网络问题，实现了评论区图片的批量自动下载。
在论坛上看到不少人分享爬取图片的脚本，正好有类似的需求，就顺手写了一个。下面这个 Ruby 模块封装了完整的下载流程，核心思路其实很简单：解析页面结构，提取图片链接，然后逐一保存到本地。
module CommonHelper
require 'nokogiri'
require 'open-uri'
def down_load_xmz
site_url = "http://www.xxx.com"
for index_page in 1..141
doc_html = Nokogiri::HTML(open(site_url+'/share/comment-page-'+index_page.to_s))
doc_html.css("#comments p img").each do |item_img|
puts item_img[:src]
download_img(item_img[:src])
end
end
end
########下载图片
def download_img(img_url)
begin
img_file = open(img_url) { |f| f.read }
file_name = img_url.split('/').last
#puts file_name
open("public/meizi/"+file_name, "wb") { |f| f.write(img_file) }
return "/public/meizi/"+file_name
rescue => err
puts err
return ''
end
end
end
从代码结构来看，down_load_xmz 方法负责遍历所有评论分页（一共141页），每页都通过 Nokogiri 解析 HTML，然后用 CSS 选择器定位到评论区域内的图片标签。拿到 src 属性后，直接调用 download_img 方法保存文件。下载部分加了异常处理，遇到坏链或网络问题也不会中断整个流程，这是生产环境中很实用的习惯。注意图片保存路径是 public/meizi/，记得提前建好目录。如果想换其他网站，改一下 site_url 和选择器即可。
Ruby日期时间处理主要依赖Date、Time和DateTime三个类。Date仅处理日期，Time可处理日期时间，DateTime是Date子类且效率最高。三者支持创建、字符串转换、比较、加减、时区处理及类型互转。Date与DateTime严格校验无效日期，Time则自动进位。常用操作包括构建、解析、格式化及与数值转换。
Ruby中Process.kill方法发送信号，signal参数可为整数或符号名指定信号类型，pid参数为正数时发送给指定进程，为0时发送给同组所有进程，为负数时发送给对应进程组（绝对值）。
Ruby变量以命名前缀区分五种类型：全局变量($)可跨类访问但副作用大；实例变量(@)为对象私有数据；类变量(@@)在继承链共享；局部变量(小写/下划线)作用域受限；常量(大写)不可重赋值。伪变量如self、nil不可修改。未初始化变量通常为nil，常量赋值会触发警告。
在Rails中，利用ActiveSupport::MessageEncryptor实现字段加密，结合ActiveRecord的serialize机制定义自定义Serializer，使敏感字段存入时自动加密、读取时自动解密，业务层无需关注加密细节。同时需注意密钥安全管理和旧数据的平滑迁移。
Ruby全局锁（GIL）使多线程在CPU密集型任务中无法并行提速，但IO操作可并发切换。通过厨师比喻和代码示例，阐释了顺序执行与多线程的差异，强调并发不等于并行。
Rails中Model关联需在两端声明，遵循命名惯例：belongs_to后跟单数，has_many后跟复数。一对多通过外键实现，如妈妈与儿子；多对多借助中间表，如学生与老师通过课程表关联。掌握这些基础可高效处理复杂关联。
RVM能自由切换Ruby与Rails版本，避免反复重装。通过rvminstall安装指定Ruby版本，用rvmlist查看已安装版本，切换并设为默认。创建gemset绑定Ruby版本，再安装不同Rails版本，即可灵活切换，实现多项目环境隔离。
module_function将模块的实例方法复制到单例类，原方法变为私有，仅能通过模块名调用。extendself不改变可见性，public方法既可通过模块名也可通过实例调用。两者均用于暴露模块级方法，但权限不同。
Ruby是松本行弘于1993年创造的纯面向对象动态语言，融合Smalltalk、Perl和Python精髓，语法简洁易读，一切皆对象。开源解释型跨平台，适合Web开发和脚本编写，可扩展性强，支持多种数据库及GUI工具，是RubyonRails框架的核心语言之一。
在RubyonRails框架中，安装后执行命令时常会出现“DLisdeprecated,pleaseuseFiddle”警告。具体解决方法如下：首先找到Ruby安装目录下的lib/ruby/2.1.0文件夹，进入后找到其中的dl.rb文件，使用文本编辑器打开该文件，定位到含有warn的那一行，在行首添加井号#注释掉该行，保存文件后警告立即消失。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
