爬虫采集:数据存储

在Python中，我们可以使用多种方法来存储爬虫采集的数据，常见的方法包括使用文件、数据库等。

1. 文件存储

文件存储是最直接的方式，我们可以将爬虫采集的数据保存为.txt、.csv、.json等格式的文件。

例如，我们采集了一些新闻标题，并将它们保存为.csv文件：

import csv
 
news_titles = ['新闻标题1', '新闻标题2', '新闻标题3']
 
with open('news_titles.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    for title in news_titles:
        writer.writerow([title])

2. 数据库存储

对于大规模的数据，我们通常会选择将数据保存到数据库中。Python中常用的数据库包括SQLite、MySQL、PostgreSQL等。

例如，我们采集了一些新闻标题，并将它们保存到SQLite数据库中：

import sqlite3
 
news_titles = ['新闻标题1', '新闻标题2', '新闻标题3']
 
conn = sqlite3.connect('news_titles.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS news_titles (id INTEGER PRIMARY KEY, title TEXT)')
 
for i, title in enumerate(news_titles, start=1):
    cursor.execute('INSERT INTO news_titles (id, title) VALUES (?, ?)', (i, title))
 
conn.commit()
conn.close()

3. 使用第三方库存储

除了使用Python自带的库，我们还可以使用第三方库来存储爬虫采集的数据，例如使用pandas库存储.csv文件，或者使用pymongo库存储MongoDB数据库等。

例如，我们采集了一些新闻标题，并将它们保存到MongoDB数据库中：

import pymongo
 
news_titles = ['新闻标题1', '新闻标题2', '新闻标题3']
 
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['news_database']
collection = db['news_titles']
 
for title in news_titles:
    collection.insert_one({'title': title})

以上就是爬虫采集数据的存储方法，具体使用哪种方法，取决于你的具体需求和环境。