Nodejs 第五十六章（爬虫）

第五六章通常是关于网络爬虫的教学内容，这里我们使用Node.js来创建一个简单的网络爬虫。

首先，我们需要安装一个名为axios的库，这是一个基于promise的HTTP客户端，它允许我们发送HTTP请求。

npm install axios

以下是一个简单的网络爬虫示例，它抓取一个网页并打印出网页的内容：

const axios = require('axios');
 
axios.get('https://www.example.com')
  .then(response => {
    console.log(response.data);
  })
  .catch(error => {
    console.error(error);
  });

在这个例子中，我们使用axios.get()函数来发送一个HTTP GET请求到指定的URL。然后，我们通过.then()处理程序来处理响应，在控制台上打印出网页的内容。如果请求失败，我们将错误信息打印出来。

这只是一个非常基本的网络爬虫示例，实际的爬虫可能需要处理更复杂的情况，例如多页面抓取、处理JavaScript渲染的网站、处理登录和身份验证、以及遵守网站的robots.txt文件等。

对于更复杂的爬虫，你可能还需要使用例如cheerio的库来解析HTML，以便提取所需的数据。

npm install cheerio

下面是一个使用cheerio的简单例子：

const axios = require('axios');
const cheerio = require('cheerio');
 
axios.get('https://www.example.com')
  .then(response => {
    const $ = cheerio.load(response.data);
    const content = $('#content').text();
    console.log(content);
  })
  .catch(error => {
    console.error(error);
  });

在这个例子中，我们使用cheerio.load()函数来解析返回的HTML，并使用jQuery风格的选择器$('#content')来获取ID为content的元素的文本内容。