Python项目开发实战:网络爬虫批量采集股票数据保存到Excel中
import requests
import pandas as pd
from bs4 import BeautifulSoup
# 股票代码列表
stock_codes = ['000001.SZ', '000002.SZ', '000004.SZ', '000005.SZ']
# 获取股票数据的函数
def get_stock_data(stock_code):
url = f'http://quote.eastmoney.com/stock_{stock_code}.html'
response = requests.get(url)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'lxml')
data = soup.find('script', {'id': 'quotesearch_zj_json'})
if data:
stock_info = eval(data.text.strip())
return stock_info
# 保存数据到Excel的函数
def save_to_excel(stock_data, filename='stock_data.xlsx'):
df = pd.DataFrame(stock_data)
df.to_excel(filename, index=False)
# 主函数
def main():
stock_data_list = []
for stock_code in stock_codes:
stock_data = get_stock_data(stock_code)
if stock_data:
stock_data_list.append(stock_data)
save_to_excel(stock_data_list)
if __name__ == '__main__':
main()
这段代码首先定义了一个股票代码列表,然后定义了一个函数get_stock_data
来获取指定股票代码的数据。接着定义了一个函数save_to_excel
来将股票数据保存到Excel文件中。最后在main
函数中,我们循环获取每只股票的数据,并将其保存到一个列表中,然后将这个列表保存到Excel文件。这个例子展示了如何使用Python网络爬虫批量采集数据,并使用pandas库将数据保存到Excel文件中。
评论已关闭