【市场分析】TEMU平台美国区品牌产品市场分析Python采集爬虫数据

import requests
import pandas as pd
from bs4 import BeautifulSoup
 
# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 获取页面内容的函数
def get_page_content(url):
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        return None
 
# 解析数据的函数
def parse_data(html):
    soup = BeautifulSoup(html, 'html.parser')
    table = soup.find('table', {'class': 'table'})
    rows = table.find_all('tr')[1:]  # 跳过表头
    data = [[td.text.strip() for td in row.find_all('td')] for row in rows]
    return data
 
# 保存数据的函数
def save_data(data, filename):
    df = pd.DataFrame(data, columns=['Rank', 'Brand', 'Product', 'Revenue', 'Change'])
    df.to_csv(filename, index=False)
 
# 主函数
def main():
    url = 'https://www.temu.com/usa-brand-product-market-share.html'
    html = get_page_content(url)
    data = parse_data(html)
    save_data(data, 'usa_brand_product_market_share.csv')
 
if __name__ == '__main__':
    main()

这段代码首先导入了必要的模块，设置了请求头以模拟浏览器访问。get_page_content函数用于获取指定URL的页面内容。parse_data函数用于解析页面中的表格数据。save_data函数用于将解析到的数据保存到CSV文件中。最后，main函数组织了整个数据采集和保存的流程。