python的sqlite数据库内数据去重处理

import sqlite3

# 连接到SQLite数据库
# 数据库文件是test.db，如果文件不存在，会自动在当前目录创建:
conn = sqlite3.connect('test.db')
cursor = conn.cursor()

# 创建一个表，如果表已存在，则忽略:
cursor.execute('''CREATE TABLE IF NOT EXISTS records
               (id INTEGER PRIMARY KEY, content TEXT UNIQUE)''')

# 插入数据，如果数据已存在（即content字段唯一约束违反），则忽略:
cursor.execute("INSERT OR IGNORE INTO records (content) VALUES (?)", ("example",))
cursor.execute("INSERT OR IGNORE INTO records (content) VALUES (?)", ("example",))
cursor.execute("INSERT OR IGNORE INTO records (content) VALUES (?)", ("another",))

# 查询并打印结果:
for row in cursor.execute("SELECT id, content FROM records ORDER BY id ASC"):
    print(row)

# 提交事务并关闭连接:
conn.commit()
conn.close()