Perl的LWP::UserAgent库爬虫程序怎么写

以下是一个使用Perl的LWP::UserAgent库编写的简单网页爬虫示例代码：

use strict;
use warnings;
use LWP::UserAgent;
 
# 创建UserAgent对象
my $ua = LWP::UserAgent->new;
 
# 设置UserAgent的头信息，模拟浏览器访问
$ua->agent('My Perl Spider 0.1');
 
# 要爬取的URL
my $url = 'http://www.example.com';
 
# 发送GET请求
my $response = $ua->get($url);
 
# 检查响应状态
if ($response->is_success) {
    # 打印获取到的内容
    print $response->decoded_content;
} else {
    # 打印错误信息
    die "HTTP GET error code: ", $response->code, " ", $response->message, "\n";
}

这段代码创建了一个UserAgent对象，用于发送HTTP请求。它设置了请求的头信息，模拟了一个常见的浏览器用户代理字符串。然后，它向指定的URL发送一个GET请求，并检查响应。如果响应成功，它会打印出网页内容；如果响应失败，它会打印错误信息。这是一个非常基础的爬虫程序，用于学习目的。在实际应用中，你可能需要处理更复杂的情况，例如处理网页中的链接、处理Cookies、处理Ajax请求、应对反爬虫策略等。