网络爬虫之数据存储方式（json、csv、mysql）

以下是使用Python进行数据存储的示例代码，分别展示了将数据存储为JSON、CSV以及MySQL数据库的方法。

import json
import csv
import pymysql
 
# 示例数据
data = {
    'name': 'Alice',
    'age': 30,
    'email': 'alice@example.com'
}
 
# 存储为JSON
with open('data.json', 'w') as f:
    json.dump(data, f)
 
# 存储为CSV
with open('data.csv', 'w', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=data.keys())
    writer.writeheader()
    writer.writerow(data)
 
# 存储到MySQL数据库
# 假设数据库已经创建，并且有一个表结构如下：
# CREATE TABLE users (name VARCHAR(100), age INT, email VARCHAR(100));
 
# 连接到数据库
connection = pymysql.connect(host='localhost', user='your_username', password='your_password', db='your_database')
 
try:
    # 使用cursor()方法获取操作游标 
    with connection.cursor() as cursor:
        # SQL 插入语句
        sql = "INSERT INTO users (name, age, email) VALUES (%s, %s, %s)"
        cursor.execute(sql, (data['name'], data['age'], data['email']))
        
    # 提交到数据库执行
    connection.commit()
    
except pymysql.MySQLError as e:
    print(e)
finally:
    connection.close()

这段代码展示了如何将数据以不同的格式存储到文件和数据库中。在实际应用中，你需要根据你的具体需求来调整数据库的连接参数和SQL语句。