【爬虫】爬取股票历史K线数据写入数据库

import pymysql
import pandas as pd
from tqdm import tqdm
 
# 连接数据库
def connect_db():
    conn = pymysql.connect(host='localhost', user='root', password='your_password', db='stock', charset='utf8')
    return conn
 
# 将数据写入数据库
def write_to_db(df, stock_code):
    # 连接数据库
    conn = connect_db()
    cursor = conn.cursor()
 
    # 遍历DataFrame中的每一行数据
    for index, row in df.iterrows():
        # 构造SQL语句
        sql = "INSERT INTO stock_k_data(stock_code, trade_date, open_price, high_price, low_price, close_price, turnover) VALUES (%s, %s, %s, %s, %s, %s, %s)"
        # 执行SQL语句
        cursor.execute(sql, (stock_code, row['trade_date'], row['open'], row['high'], row['low'], row['close'], row['volume']))
 
    # 提交事务
    conn.commit()
    # 关闭连接
    cursor.close()
    conn.close()
 
# 主函数
def main():
    # 获取股票代码列表
    stock_codes = get_stock_codes()
 
    # 遍历股票代码列表
    for stock_code in tqdm(stock_codes):
        # 获取股票历史K线数据
        df = get_stock_k_data(stock_code)
        # 将数据写入数据库
        write_to_db(df, stock_code)
 
if __name__ == '__main__':
    main()

在这个代码实例中，我们首先定义了连接数据库的函数connect_db，然后定义了将数据写入数据库的函数write_to_db。在write_to_db函数中，我们通过遍历DataFrame中的每一行数据，构造SQL语句，并执行SQL语句将数据插入到数据库中。最后，在主函数main中，我们遍历股票代码列表，获取每只股票的历史K线数据，并将其写入数据库。这个过程中使用了tqdm来显示一个进度条，方便用户了解数据抓取和写入的进度。