最新python数据分析实例：利用python爬虫获取数据_爬虫数据采集实例，京东技术面试

import requests
import pandas as pd
from bs4 import BeautifulSoup
 
# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 目标URL
url = 'https://item.jd.com/100012043978.html'
 
# 发送GET请求
response = requests.get(url, headers=headers)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取商品名称
    product_name = soup.find('div', class_='sku-name').text.strip()
    
    # 提取商品价格
    product_price = soup.find('div', class_='price').text.strip()
    
    # 提取商品评分
    product_score = soup.find('div', class_='score').text.strip()
    
    # 提取商品评论数
    product_comment_count = soup.find('div', class_='comment-count').text.strip()
    
    # 将数据存入字典
    data = {
        '商品名称': product_name,
        '商品价格': product_price,
        '商品评分': product_score,
        '商品评论数': product_comment_count
    }
    
    # 将字典转换为DataFrame
    df = pd.DataFrame([data])
    
    # 输出结果
    print(df)
 
else:
    print('请求失败')

这段代码使用了requests库来发送HTTP GET请求，使用BeautifulSoup库来解析网页，并使用pandas库来存储和输出数据。代码中的URL是京东上某商品页的链接，通过分析网页结构来提取商品信息。这个实例简单直观地展示了如何使用Python进行网页数据爬取。