LuaHttp库写的一个简单的爬虫

local http = require("socket.http")
local ltn12 = require("ltn12")
 
-- 初始化爬虫的起始URL
local start_url = "http://example.com"
 
-- 爬取页面内容的函数
local function crawl_page(url)
    print("正在爬取: " .. url)
    local response, status_code, headers, status_text = http.request{
        url = url,
        sink = ltn12.sink.table()
    }
    if status_code == 200 then
        print("成功爬取: " .. url)
        -- 处理页面内容
        local page_content = table.concat(response)
        -- 这里可以添加对页面内容的处理逻辑
        print(page_content)
    else
        print("爬取失败: " .. (status_text or "未知错误") .. " - " .. (status_code or "未知状态码"))
    end
end
 
-- 开始爬取
crawl_page(start_url)

这段代码使用了Lua的socket.http库来发送HTTP请求，并使用ltn12.sink.table()来接收响应内容。它提供了一个简单的爬虫框架，可以通过传入不同的URL来爬取网页内容。在实际应用中，你可以在crawl_page函数中添加更复杂的逻辑，比如解析页面中的链接来进一步爬取其他网页，或者是对页面内容进行持久化存储等。