Pandas处理sqlite数据库CSV文件EXCEL文件的速度对比

import pandas as pd
import sqlite3
import time
 
# 创建一个SQLite数据库连接和一个Cursor对象
conn = sqlite3.connect('test.db')
cursor = conn.cursor()
 
# 创建一个表
cursor.execute('''CREATE TABLE IF NOT EXISTS csv_data
               (date text, trans_id text, name text, category text, amount real)''')
 
# 读取CSV文件并将数据插入到SQLite数据库中
df = pd.read_csv('transactions.csv')
df.to_sql('csv_data', conn, if_exists='replace', index=False)
 
# 读取Excel文件并将数据插入到SQLite数据库中
df = pd.read_excel('transactions.xlsx')
df.to_sql('excel_data', conn, if_exists='replace', index=False)
 
# 测量读取CSV文件的速度
start_time = time.time()
pd.read_csv('transactions.csv')
end_time = time.time()
csv_read_time = end_time - start_time
 
# 测量读取Excel文件的速度
start_time = time.time()
pd.read_excel('transactions.xlsx')
end_time = time.time()
excel_read_time = end_time - start_time
 
# 打印结果
print(f"CSV文件读取耗时: {csv_read_time}秒")
print(f"Excel文件读取耗时: {excel_read_time}秒")
 
# 关闭数据库连接
conn.close()

这段代码首先创建了一个SQLite数据库，并在其中创建了一个表。然后，它使用Pandas分别读取CSV文件和Excel文件，并将数据存入数据库。接着，它测量了读取CSV和Excel文件所需的时间，并打印出来。最后，它关闭了数据库连接。这个过程可以帮助比较Pandas读取CSV文件和Excel文件的速度。