爬虫技术探索：Node.js 的优势与实践
// 导入必要的模块
const puppeteer = require('puppeteer');
// 初始化一个新的爬虫实例
const crawler = async () => {
// 启动一个新的浏览器实例
const browser = await puppeteer.launch();
// 打开一个新页面
const page = await browser.newPage();
// 导航到指定的URL
await page.goto('https://example.com');
// 截取页面截图
await page.screenshot({ path: 'example.png' });
// 获取页面的HTML内容
const html = await page.content();
console.log(html);
// 关闭浏览器实例
await browser.close();
};
// 运行爬虫函数
crawler();这段代码使用了puppeteer库来启动一个新的浏览器实例，打开一个新页面，导航到指定的URL，截取页面截图，并获取页面的HTML内容。这是一个简单的Node.js爬虫示例，展示了如何使用Puppeteer进行基本的网页爬取。
评论已关闭