【考古加】爬虫解码数据+mongodb数据库存储

以下是一个简化的Python代码示例，展示了如何使用requests库进行网络爬取，使用BeautifulSoup进行数据解析，并将数据存储到MongoDB数据库中。

import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
 
# 爬取数据
def crawl_data(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None
 
# 解析数据
def parse_data(html):
    soup = BeautifulSoup(html, 'html.parser')
    data = {
        'title': soup.find('title').text,
        'content': soup.find('div', {'id': 'content'}).text
    }
    return data
 
# 存储数据到MongoDB
def store_data_to_mongodb(data):
    client = MongoClient('mongodb://localhost:27017/')
    db = client['mydatabase']
    collection = db['mycollection']
    collection.insert_one(data)
 
# 示例URL
url = 'http://example.com'
 
# 获取网页内容
html = crawl_data(url)
 
# 解析网页
parsed_data = parse_data(html)
 
# 存储数据
store_data_to_mongodb(parsed_data)

这段代码首先定义了爬取数据、解析数据以及将数据存储到MongoDB的函数。然后使用一个示例URL进行测试，展示了整个流程。注意，实际应用中你需要替换url变量的值，并且可能需要处理更复杂的HTML结构和数据解析。