用 Node.js 写一个爬虫

以下是一个简单的 Node.js 爬虫示例，使用 axios 进行 HTTP 请求和 cheerio 解析页面数据。

首先，确保安装所需的依赖：

npm install axios cheerio

以下是一个简单的爬取网页标题的爬虫示例：

const axios = require('axios');
const cheerio = require('cheerio');
 
async function fetchTitle(url) {
  try {
    // 发送 HTTP GET 请求
    const { data } = await axios.get(url);
    // 使用 cheerio 加载响应数据
    const $ = cheerio.load(data);
    // 选取并返回页面标题
    const title = $('title').text();
    return title;
  } catch (error) {
    console.error('An error occurred:', error);
  }
}
 
// 使用函数并输出结果
fetchTitle('https://www.example.com').then(title => console.log(title));

这个简单的函数 fetchTitle 接收一个 URL，发送 HTTP GET 请求，使用 axios 获取页面内容，然后使用 cheerio 加载页面内容并提取页面标题。最后，该函数返回页面标题并将其输出到控制台。