简单易学！使用 Node.js 编写爬虫，跟着教程一步步实现！
warning:
这篇文章距离上次修改已过438天，其中的内容可能已经有所变动。
以下是一个使用Node.js编写的简单网页爬虫的示例代码，使用了axios进行HTTP请求和cheerio解析页面数据。
首先，确保安装所需的包：
npm install axios cheerio以下是爬虫的代码：
const axios = require('axios');
const cheerio = require('cheerio');
// 目标网页URL
const url = 'https://example.com';
axios.get(url).then(response => {
// 使用cheerio加载响应内容
const $ = cheerio.load(response.data);
// 选取想要的数据，例如所有段落文本
const paragraphs = $('p').text();
console.log(paragraphs);
}).catch(error => {
console.error('Error fetching data: ', error);
});这段代码向https://example.com发送一个GET请求，然后使用cheerio加载响应内容，并选取所有<p>标签中的文本内容，最后打印出来。
这只是一个简单的示例，实际的爬虫可能需要处理更复杂的情况，例如分页、登录验证、处理动态内容、并发请求等。
评论已关闭