【Python爬虫教程】基础篇-17 Ajax分析方法与结果提取

import requests
import json
import pandas as pd
 
# 定义一个函数来处理Ajax请求
def fetch_ajax_data(url, params):
    response = requests.get(url, params=params)
    if response.status_code == 200:
        return response.json()
    else:
        return None
 
# 定义常量
BASE_URL = 'https://example.com/api/data'
PARAMS = {
    'param1': 'value1',
    'param2': 'value2',
    # 更多参数...
}
 
# 发送Ajax请求并提取数据
data = fetch_ajax_data(BASE_URL, PARAMS)
 
# 检查数据是否成功获取
if data:
    # 从返回的JSON数据中提取结果
    results = data.get('results')
    # 将结果转换为DataFrame
    df = pd.DataFrame(results)
    # 打印DataFrame的前几行
    print(df.head())
else:
    print('Ajax请求失败')

这段代码首先定义了一个函数fetch_ajax_data来处理Ajax请求，然后定义了一些常量，包括请求的URL和参数。接着，它调用这个函数来发送请求，并检查返回的数据。如果数据成功返回，它会从JSON中提取结果，将其转换为DataFrame，并打印出前几行来展示结果。如果请求失败，它会打印出错误消息。这个例子展示了如何处理Ajax请求和提取其中的数据，这是进行Web爬虫开发时的一个常见步骤。