NodeJs 第八章 数据抓取(爬虫)

在Node.js中，我们可以使用axios库来发送HTTP请求，并使用cheerio库来解析和提取HTML内容。以下是一个简单的示例，展示如何使用这两个库来创建一个简单的网络爬虫。

首先，确保你已经安装了axios和cheerio。

npm install axios cheerio

然后，你可以使用以下代码来抓取网页上的数据：

const axios = require('axios');
const cheerio = require('cheerio');
 
async function fetchHTML(url) {
  try {
    const { data } = await axios.get(url);
    return data;
  } catch (error) {
    console.error('An error occurred during the fetch:', error);
  }
}
 
async function extractData(html) {
  // 使用cheerio加载网页内容
  const $ = cheerio.load(html);
 
  // 假设我们要抓取的数据在<h1>标签中
  const title = $('h1').text().trim();
 
  // 输出抓取到的数据
  console.log('Title:', title);
}
 
// 使用示例
const url = 'https://example.com'; // 替换为你想抓取的网址
 
fetchHTML(url)
  .then(extractData)
  .catch(console.error);

这段代码首先定义了一个异步函数fetchHTML来获取网页内容，然后定义了另一个异步函数extractData来解析HTML并提取数据。最后，通过调用fetchHTML函数并传入想要抓取的网址，开始整个数据抓取的过程。

请注意，实际的网站可能会有不同的安全措施，比如反爬虫策略，或者需要处理动态加载的内容。此外，你还需要遵守相关的法律法规，不得滥用网络爬虫技术进行非法活动。