〖Python网络爬虫实战㉔〗- Ajax数据爬取之Ajax 分析案例

import requests
import json
import pandas as pd
 
# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
 
# 目标URL，这里以一个假设的Ajax请求为例
url = 'http://example.com/api/data'
 
# 发送请求
response = requests.get(url, headers=headers)
 
# 检查请求是否成功
if response.status_code == 200:
    # 解析JSON数据
    data = json.loads(response.text)
    
    # 这里假设data是一个包含多个字典的列表，每个字典代表一个数据项
    # 使用pandas创建DataFrame
    df = pd.DataFrame(data)
    
    # 保存为CSV文件
    df.to_csv('output.csv', index=False)
    print('数据爬取成功，CSV文件已保存。')
else:
    print('数据爬取失败，状态码：', response.status_code)

这个代码示例展示了如何使用Python的requests库来发送HTTP GET请求，并使用json库来解析返回的JSON数据。然后，使用pandas库将数据转换为DataFrame并保存为CSV文件。这个流程是进行Ajax数据爬取的基本步骤，适用于多数Ajax动态数据的抓取。