'# Nokogiri库和OpenURI库使用HTTP做一个爬虫
一、背景与问题
在互联网信息获取场景中，网页爬虫是获取结构化数据的重要手段。传统爬虫系统通常需要处理三个核心问题：网络请求、HTML解析和数据提取。Ruby语言通过OpenURI和Nokogiri库提供了一套完整的解决方案。
这种方案的核心价值在于：通过标准库实现轻量级爬虫，适用于对性能要求不高的数据采集场景。但同时也存在显著局限性，如无法处理JavaScript渲染内容、缺乏分布式支持等。
二、基本原理
1. HTTP请求流程
OpenURI库封装了HTTP请求的完整流程，包括：
- 建立TCP连接
- 发送HTTP请求头（含User-Agent等）
- 接收HTTP响应头
- 获取响应体内容
- 自动处理重定向
require 'open-uri'
response = open('https://example.com')
puts response.code # HTTP状态码
puts response.headers # 响应头信息
puts response.read # 响应体内容2. HTML解析机制
Nokogiri库基于LibXML实现的DOM解析器，其核心原理是：
- 将HTML文档转换为XML格式
- 构建树形结构（Document Object Model）
- 支持CSS选择器和XPath查询
require 'nokogiri'
doc = Nokogiri::HTML(open('https://example.com'))
puts doc.title.text # 提取网页标题3. 数据提取模型
采用CSS选择器进行数据提取时，其本质是遍历DOM树的特定节点：
doc.css('a').each do |link|
puts link.text # 提取链接文本
puts link['href'] # 提取链接地址
end三、环境准备
# 安装必要库
gem install nokogiri open-uri注意：OpenURI是Ruby标准库，无需单独安装。但Nokogiri需要C扩展支持，安装时可能需要额外依赖：
# 安装依赖库（Linux系统）
sudo apt-get install libxml2-dev libxslt1-dev四、核心实现
1. 基础爬虫示例
require 'open-uri'
require 'nokogiri'
def fetch_page(url)
begin
response = open(url)
return Nokogiri::HTML(response)
rescue OpenURI::HTTPError => e
puts "HTTP Error: #{e.message}"
return nil
rescue => e
puts "Other Error: #{e.message}"
return nil
end
end
doc = fetch_page('https://example.com')
doc&.css('a')&.each do |link|
puts "Text: #{link.text}, URL: #{link['href']}"
end关键点分析：
- 使用
&.操作符进行安全链式调用 - 处理常见HTTP错误（404、500等）
- 通过CSS选择器提取超链接
2. 分页爬取实现
def crawl_pages(base_url, max_pages)
pages = []
(1..max_pages).each do |page|
url = "#{base_url}?page=#{page}"
doc = fetch_page(url)
break if doc.nil?
pages << {
page: page,
links: doc.css('a').map { |link|
{ text: link.text, href: link['href'] }
}
}
end
pages
end
# 使用示例
data = crawl_pages('https://example.com', 3)
data.each do |page|
puts "Page #{page[:page]}"
page[:links].each { |link| puts " #{link[:text]}" }
end3. 数据存储优化
require 'csv'
def save_links(links, filename)
CSV.open(filename, 'w') do |csv|
links.each do |link|
csv << [link[:text], link[:href]]
end
end
end
# 配合使用示例
links = doc.css('a').map { |link|
{ text: link.text, href: link['href'] }
}
save_links(links, 'links.csv')五、完整案例
新闻爬虫案例：爬取技术博客的最新文章
require 'open-uri'
require 'nokogiri'
require 'csv'
def fetch_news_page(url)
begin
response = open(url)
Nokogiri::HTML(response)
rescue => e
puts "Error fetching #{url}: #{e.message}"
nil
end
end
def parse_news_page(doc)
return [] unless doc
doc.css('.news-item').map do |item|
{
title: item.css('.title a').first&.text,
author: item.css('.author').text,
date: item.css('.date').text,
url: item.css('.title a').first&.[]('href')
}
end
end
def save_news(news, filename)
CSV.open(filename, 'w') do |csv|
news.each do |item|
csv << [item[:title], item[:author], item[:date], item[:url]]
end
end
end
# 主程序
news = []
base_url = 'https://example-blog.com'
max_pages = 5
(1..max_pages).each do |page|
url = "#{base_url}/page/#{page}"
puts "Crawling page #{page}..."
doc = fetch_news_page(url)
news += parse_news_page(doc)
break if doc.nil?
end
save_news(news, 'news.csv')
puts "Total articles: #{news.size}"六、源码解析
1. HTTP请求处理机制
OpenURI库的open方法实际调用了Net::HTTP的底层实现，其核心流程如下：
- 解析URL
- 建立TCP连接
- 构造HTTP请求头（包含User-Agent、Accept等）
- 发送请求
- 处理响应头
- 读取响应体
2. HTML解析过程
Nokogiri::HTML的初始化流程：
- 使用
libxml2解析HTML字符串 - 构建DOM树结构
- 设置默认命名空间
- 支持CSS选择器查询
关键代码：
// LibXML2解析核心（C语言）
xmlDocPtr doc = xmlParseMemory(html_data, html_length);3. CSS选择器实现原理
Nokogiri使用libcss实现CSS选择器，其核心机制包括：
- 解析CSS选择器字符串
- 转换为XPath表达式
- 在DOM树中执行查询
// CSS选择器转换示例（C语言）
char *xpath = css_selectors_to_xpath(css_selector);七、进阶使用
1. 处理动态内容
对于JavaScript渲染的页面，可结合Selenium或Watir：
require 'selenium-webdriver'
driver = Selenium::WebDriver.for(:firefox)
driver.get('https://example.com')
puts driver.find_element(:css, 'h1').text
driver.quit2. 并行爬取优化
使用Thread或concurrent-ruby库：
require 'concurrent'
urls = ['url1', 'url2', 'url3']
results = Concurrent::Array.new(urls.size)
urls.each do |url|
Concurrent::Future.execute do
results[urls.index(url)] = fetch_page(url)
end
end3. 爬虫中间件系统
构建支持代理、限速、日志的爬虫框架：
class Crawler
def initialize(proxy = nil)
@proxy = proxy
end
def fetch(url)
uri = URI(url)
uri.scheme = 'https' if uri.scheme.nil?
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.verify_mode = OpenSSL::SSL::VERIFY_NONE
http.set_proxy(@proxy[:host], @proxy[:port]) if @proxy
request = Net::HTTP::Get.new(uri.request_uri)
response = http.request(request)
Nokogiri::HTML(response.body)
end
end八、性能与工程实践
1. 性能优化策略
| 优化策略 | 说明 | 示例 |
|---|---|---|
| 连接池 | 复用TCP连接 | Net::HTTP::Persistent.new |
| 异步处理 | 并发请求 | EventMachine |
| 缓存机制 | 存储已访问结果 | Redis |
| 压缩传输 | 减少网络传输 | Gzip压缩 |
| 限速机制 | 避免被封IP | sleep和request count计数 |
2. 异常处理方案
def safe_fetch(url)
begin
open(url)
rescue OpenURI::HTTPError => e
puts "HTTP Error: #{e.message}"
nil
rescue OpenURI::OpenError => e
puts "Network Error: #{e.message}"
nil
rescue => e
puts "Unexpected Error: #{e.message}"
nil
end
end3. 安全风险控制
robots.txt：遵守网站爬虫规则
require 'robotex' robot = Robotex::Robot.new('https://example.com') puts robot.allowed?('https://example.com/page')User-Agent伪装：
request = Net::HTTP::Get.new(uri.request_uri) request['User-Agent'] = 'Mozilla/5.0 (Ruby爬虫)'SSL验证：
http.verify_mode = OpenSSL::SSL::VERIFY_PEER
九、常见问题与踩坑
1. 常见错误及解决办法
| 错误类型 | 错误示例 | 解决方案 |
|---|---|---|
| 403 Forbidden | 未设置User-Agent | 设置合法User-Agent |
| 503 服务不可用 | 被服务器屏蔽 | 使用代理、调整请求频率 |
| Encoding错误 | 中文乱码 | 设置编码格式 |
| 选择器失效 | 页面结构变化 | 更新CSS选择器 |
2. 代码常见陷阱
# 错误示例：未处理nil值
doc.css('a').each { |a| puts a.text } # 可能引发NoMethodError
# 正确写法
doc&.css('a').each do |a|
puts a.text if a
end3. 典型性能瓶颈
- 多次创建
Nokogiri::HTML实例 - 未使用连接池导致频繁建立TCP连接
- 未设置超时导致阻塞
十、最佳实践
1. 爬虫设计规范
- 遵守robots.txt：使用
robotex库检查可爬区域 - 设置合理超时：避免长时间阻塞
- 使用代理池：避免IP被封
- 记录日志：便于问题排查
- 分页爬取：避免一次性请求过多数据
2. 代码质量规范
- 使用
RuboCop进行代码规范检查 - 使用
RSpec进行单元测试 - 使用
Git进行版本控制 - 使用
Rake进行任务管理
3. 性能优化建议
使用连接池：
http = Net::HTTP::Persistent.new使用异步处理：
require 'eventmachine'使用缓存机制：
require 'redis'
十一、总结
使用Nokogiri和OpenURI实现HTTP爬虫，是一种轻量级的数据采集方案。其核心价值在于：通过标准库实现快速开发，适用于对性能要求不高的场景。但同时也存在明显局限性，如无法处理动态内容、缺乏分布式支持等。
在实际开发中，应根据具体需求选择合适方案：对于静态网页可使用本方案；对于动态内容需结合Selenium等工具；对于大规模数据采集需采用分布式爬虫系统。同时，必须遵守网站规则，处理好性能、安全和异常等问题，才能构建稳定可靠的爬虫系统。