python JSON Lines (JSONL)的保存和读取;jsonl的数据保存和读取,大模型prompt文件保存常用格式
import json
# 将数据以JSON Lines格式保存到文件
def save_jsonl(data_list, file_path):
with open(file_path, 'w', encoding='utf-8') as f:
for item in data_list:
f.write(json.dumps(item) + '\n')
# 从JSON Lines格式的文件中读取数据
def load_jsonl(file_path):
data_list = []
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
data_list.append(json.loads(line.strip()))
return data_list
# 示例数据
data_list = [
{"id": 1, "name": "Alice"},
{"id": 2, "name": "Bob"},
{"id": 3, "name": "Charlie"}
]
# 保存数据到文件
save_jsonl(data_list, 'data.jsonl')
# 从文件读取数据
loaded_data_list = load_jsonl('data.jsonl')
# 打印加载的数据
print(loaded_data_list)
这段代码提供了save_jsonl
和load_jsonl
两个函数,分别用于将数据以JSON Lines格式保存到文件,以及从文件中读取JSON Lines格式的数据。这是处理大型数据集或者需要以行为单位读写文件的有效方法。
评论已关闭