Automa爬取网页数据直接入库

import sqlite3
from automa.core.context import Context
from automa.web.browser import Browser
 
# 连接SQLite数据库
conn = sqlite3.connect('example.db')
cursor = conn.cursor()
 
# 创建表格
cursor.execute('''
CREATE TABLE IF NOT EXISTS jobs (
    id INTEGER PRIMARY KEY,
    title TEXT,
    location TEXT,
    description TEXT
)
''')
conn.commit()
 
# 定义一个函数，将爬取的数据插入到数据库中
def insert_job(title, location, description):
    cursor.execute('''
        INSERT INTO jobs (title, location, description)
        VALUES (?, ?, ?)
    ''', (title, location, description))
    conn.commit()
 
# 使用Automa进行自动化操作
with Browser() as browser:
    with Context(browser):
        # 此处省略获取数据的代码，假设我们已经有了jobs列表
        jobs = [...]  # 假设的作业数据列表
        for job in jobs:
            insert_job(job['title'], job['location'], job['description'])
 
# 关闭数据库连接
conn.close()

这个代码实例展示了如何使用Automa和SQLite来完成数据的爬取和存储工作。首先，我们连接到一个SQLite数据库，并创建了一个存储工作信息的表格。然后，我们定义了一个函数insert_job，用于将工作数据插入到数据库中。接下来，我们使用Automa的上下文管理器和浏览器实例来进行自动化操作，在这个例子中，省略了具体的数据抓取代码，假设我们已经有了一个包含作业数据的列表jobs。最后，我们遍历这个列表，将每个作业的数据插入到数据库中，并在完成后关闭数据库连接。