使用python获取江苏省历年GDP#获取数据#爬虫程序#统计
要获取江苏省历年GDP数据,可以使用Python的requests库来发送HTTP请求,以及BeautifulSoup库来解析HTML页面。以下是一个简单的示例代码,用于从中国国家统计局网站抓取江苏省的GDP数据。
import requests
from bs4 import BeautifulSoup
import pandas as pd
def get_gdp_data_for_jiangsu():
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标URL
url = 'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2021/'
# 发送GET请求
response = requests.get(url, headers=headers)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含GDP数据的表格
table = soup.find('table', class_='table_gj')
# 提取表格数据
rows = table.find_all('tr')[2:] # 跳过表头
data = []
for row in rows:
cols = row.find_all('td')
year = cols[0].text.strip() # 年份
gdp = cols[1].text.strip() # GDP数据
data.append([year, gdp])
# 转换数据为DataFrame
df = pd.DataFrame(data, columns=['Year', 'GDP(Yuan)'])
return df
else:
print("Failed to retrieve data, status code:", response.status_code)
return None
# 获取数据并输出
data_jiangsu = get_gdp_data_for_jiangsu()
print(data_jiangsu)
请注意,由于网站可能会更改其结构,因此这段代码可能不会永久有效。此外,遵循目标网站的使用条款,合法地使用数据非常重要。如果你发现这种爬取方法不再有效,请查找该网站提供的官方API或联系其支持团队获取数据。
评论已关闭