Node.js爬虫和Python爬虫

Node.js和Python都可以用来创建网络爬虫。以下是两种语言的简单爬虫示例。

Node.js 使用 axios 和 cheerio：

const axios = require('axios');
const cheerio = require('cheerio');
 
const url = 'http://example.com';
 
axios.get(url).then(response => {
  const $ = cheerio.load(response.data);
  $('h1').each((i, element) => {
    console.log($(element).text());
  });
}).catch(error => {
  console.error(error);
});

Python 使用 requests 和 beautifulsoup4：

import requests
from bs4 import BeautifulSoup
 
url = 'http://example.com'
 
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
 
for h1 in soup.find_all('h1'):
    print(h1.text)

这两个例子都是获取一个网页的所有 <h1> 标签内容。在实际应用中，你需要根据目标网站的结构和动态内容调整选择器和解析策略。同时，确保遵守目标网站的robots.txt规则，并在爬取数据时遵守法律法规和道德标准。