Node爬虫:利用Node.js爬取网页图片的实用指南
const fs = require('fs');
const path = require('path');
const https = require('https');
const mkdirp = require('mkdirp');
// 定义图片URL列表
const imageUrls = [
'https://example.com/image1.jpg',
'https://example.com/image2.jpg',
// ...
];
// 定义保存图片的目录
const saveDir = './images';
// 创建目录
mkdirp(saveDir, function(err) {
if (err) console.error(err);
// 下载图片
imageUrls.forEach((url, index) => {
https.get(url, (response) => {
const filePath = path.join(saveDir, `${index}.jpg`);
const fileWriteStream = fs.createWriteStream(filePath);
response.pipe(fileWriteStream);
fileWriteStream.on('finish', () => {
fileWriteStream.close();
console.log(`图片 ${filePath} 下载成功`);
});
fileWriteStream.on('error', (err) => {
console.error(`图片 ${filePath} 下载失败: `, err);
});
});
});
});
这段代码使用了Node.js的https
模块来下载图片,并使用了mkdirp
库来创建图片保存目录,确保目录存在。代码简洁,注重实用性,适合作为爬取网页图片的基础教程。
评论已关闭