Python 爬虫实战之爬拼多多商品并做数据分析

import requests
from pyquery import PyQuery as pq
import pandas as pd
 
# 请求拼多多商品列表页面
def get_items(url):
    headers = {
        'User-Agent': 'your_user_agent',
        'Referer': 'https://www.pinduoduo.com/',
    }
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
    except requests.RequestException:
        return None
 
# 解析商品信息
def parse_items(html):
    doc = pq(html)
    items = doc('.goods-list .goods-item').items()
    for item in items:
        yield {
            'image': item('.goods-img').attr('src'),
            'price': item('.price').text(),
            'deal_num': item('.deal-cnt').text(),
            'shop_name': item('.shop-name').text(),
            'item_url': item('.goods-img').attr('href'),
        }
 
# 保存商品信息到CSV文件
def save_to_csv(items, filepath):
    df = pd.DataFrame(items)
    df.to_csv(filepath, index=False, encoding='utf-8-sig')
 
# 主函数
def main(url, filepath):
    html = get_items(url)
    items = parse_items(html)
    save_to_csv(items, filepath)
 
if __name__ == '__main__':
    url = 'https://www.pinduoduo.com/commodity_list/some_category_id'
    filepath = 'items.csv'
    main(url, filepath)

这个示例代码展示了如何使用Python进行简单的网页爬取，并将爬取的数据保存到CSV文件中。代码中使用了requests库来发送HTTP请求，使用pyquery库来解析HTML页面，并使用pandas库来处理和保存数据。需要注意的是，这个例子只是一个简单的教学示例，实际的爬虫项目可能需要更复杂的处理，比如处理登录验证、分页请求、用户代理随机化、反爬机制应对等。