2024-08-08



# 导入Scrapy框架中的Spider类
from scrapy import Spider
from scrapy.selector import Selector
 
class JDSpider(Spider):
    name = 'jd'
    allowed_domains = ['jd.com']
    start_urls = ['https://www.jd.com/']
 
    def parse(self, response):
        # 提取商品信息
        for href in response.css('a.gl-item::attr(href)').getall():
            yield response.follow(href, self.parse_product)
 
        # 提取分页链接
        for next_page in response.css('div.page a::attr(href)').getall():
            yield response.follow(next_page, self.parse)
 
    def parse_product(self, response):
        # 提取商品详细信息
        sel = Selector(response)
        yield {
            'name': sel.css('div#item h1::text').get(),
            'price': sel.css('div#detail div.p-price strong::text').get(),
            'stock': sel.css('div#detail div.p-stock em::text').get(),
            'shop': sel.css('div#detail div.p-shop a::text').get(),
            'url': response.url,
        }
 
# 导入MongoDB的客户端
from pymongo import MongoClient
 
class JDMongoPipeline:
    collection_name = 'products'
 
    def open_spider(self, spider):
        # 连接到MongoDB
        self.client = MongoClient('mongodb://localhost:27017/')
        self.db = self.client['jd_database']
 
    def process_item(self, item, spider):
        # 将商品信息插入到MongoDB集合中
        self.db[self.collection_name].insert_one(dict(item))
        return item
 
    def close_spider(self, spider):
        # 关闭MongoDB连接
        self.client.close()

这段代码展示了如何使用Scrapy框架创建一个简单的爬虫,并使用MongoDB作为数据存储。它定义了一个名为JDSpider的爬虫,它会从京东首页开始,逐页爬取商品信息,并通过管道(JDMongoPipeline)保存到本地的MongoDB实例中。这个例子教会开发者如何将Scrapy与MongoDB结合使用,以及如何将爬虫部署到云服务器上。

2024-08-08

为了创建一个自动抓取并推送最新学校通知的爬虫,你可以使用requests来获取网页内容,使用BeautifulSoup来解析网页,并使用datetime来比较通知的日期。以下是一个简化的例子,假设我们要抓取的是某知名学校的官方网站上的通知。




import requests
from bs4 import BeautifulSoup
from datetime import datetime
import pytz
import schedule
import time
import urllib3
 
# 忽略SSL证书验证
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
 
def fetch_notices(url):
    response = requests.get(url, verify=False)
    soup = BeautifulSoup(response.text, 'html.parser')
    latest_notice_date = None
 
    for notice in soup.find_all('div', class_='notice-list'):
        title = notice.find('a').text
        date_str = notice.find('span', class_='date').text.strip()
        try:
            notice_date = datetime.strptime(date_str, '%Y-%m-%d').replace(tzinfo=pytz.timezone('Asia/Shanghai'))
            if not latest_notice_date or notice_date > latest_notice_date:
                latest_notice_date = notice_date
                latest_notice_title = title
        except ValueError:
            print(f'无法解析日期: {date_str}')
 
    return latest_notice_title, latest_notice_date
 
def send_notification(title, date):
    print(f'最新通知: {title}, 日期: {date}')
    # 实际项目中,这里应该是将通知推送给用户的代码
 
def job():
    url = 'https://www.your-school.edu.cn/notice.htm'  # 替换为学校通知页面的URL
    latest_notice_title, latest_notice_date = fetch_notices(url)
    if latest_notice_date:
        send_notification(latest_notice_title, latest_notice_date)
 
# 每5分钟运行一次job函数
schedule.every(5).minutes.do(job)
 
while True:
    schedule.run_pending()
    time.sleep(1)

这个脚本使用schedule库来定期检查最新通知,并将其标题和日期通过send_notification函数发送出去。你需要替换send_notification函数来实际发送通知,例如通过邮件、短信或者其他方式。

请注意,这个脚本假设学校的通知页面遵循相似的结构,并且通知具有日期时间格式的属性。如果实际情况有所不同,你需要根据实际页面结构来调整fetch_notices函数。此外,由于爬取可能涉及法律问题,请确保你有权爬取目标网站,并且不会违反任何使用条款。

2024-08-08



import requests
from bs4 import BeautifulSoup
 
# 第一个网络爬虫示例:获取豆瓣电影的TOP250信息
def crawl_douban_movie_top250(url):
    # 发送HTTP GET请求
    response = requests.get(url)
    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析网页
        soup = BeautifulSoup(response.text, 'html.parser')
        # 找到包含电影信息的表格
        movie_table = soup.find('table', class_='paginator')
        # 遍历每一行(每一部电影)
        for row in movie_table.find_all('tr'):
            cells = row.find_all('td')
            # 假设每行有5个单元格(电影信息)
            if len(cells) == 5:
                rank = cells[0].get_text().strip()  # 排名
                title = cells[1].find('a').get_text().strip()  # 电影名称
                rating = cells[2].find('span', class_='rating_num').get_text().strip()  # 评分
                # 注意:以下两个字段可能不存在,需要进行错误处理
                info = cells[3].get_text().strip()  # 信息,包括导演、主演等
                comment = cells[4].find('span', class_='inq').get_text().strip()  # 评论数
                # 打印或存储电影信息
                print(f'排名: {rank}, 电影名: {title}, 评分: {rating}, 信息: {info}, 评论数: {comment}')
    else:
        print('请求失败')
 
# 网络爬虫的入口
if __name__ == '__main__':
    url = 'https://movie.douban.com/top250'
    crawl_douban_movie_top250(url)

这段代码实现了一个简单的网络爬虫,用于抓取豆瓣电影TOP250的信息。代码首先导入了requests和BeautifulSoup库,然后定义了一个函数crawl_douban_movie_top250,该函数接收一个URL作为参数,发送HTTP GET请求,并使用BeautifulSoup解析网页。代码提取了每部电影的排名、名称、评分、信息和评论数,并打印输出。在主程序中,调用了这个函数,传入了豆瓣TOP250的URL。

2024-08-08



import tkinter as tk
from tkinter import ttk
 
def greet():
    print("Hello, Crossin'!")
 
def on_enter_click(event):
    greet()
 
def create_ui():
    # 创建主窗口
    root = tk.Tk()
    root.title("Crossin's GUI Example")
 
    # 创建标签和按钮
    label = ttk.Label(root, text="Hello, Crossin'!")
    label.pack()
 
    button = ttk.Button(root, text="Click Me")
    button.bind("<Enter>", on_enter_click)  # 绑定鼠标悬停事件
    button.pack()
 
    # 开始Tkinter事件循环
    root.mainloop()
 
create_ui()

这段代码创建了一个简单的GUI应用程序,包含一个标签和一个按钮。按钮绑定了鼠标悬停事件,当用户将鼠标悬停在按钮上时,会触发on_enter_click函数,该函数打印出问候信息。这个例子展示了如何使用tkinter库创建基本的图形界面,并处理用户的鼠标事件。

2024-08-08

Nacos是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。而nacos-sdk-python是Nacos的Python客户端,用于与Nacos服务进行交互。

以下是一个使用nacos-sdk-python的示例,展示如何在Python中使用Nacos客户端进行服务注册和获取服务信息:

首先,安装nacos-sdk-python




pip install nacos-sdk-python

然后,使用以下代码进行服务注册和获取服务信息:




from nacos_sdk import NacosClient
from nacos_sdk.common.consts import SERVER_ADDR_OPT, NAMESPACE_OPT
 
# Nacos 服务器地址
NACOS_SERVER_ADDRESSES = "127.0.0.1:8848"
 
# 创建Nacos客户端实例
client = NacosClient(SERVER_ADDR_OPT, NACOS_SERVER_ADDRESSES)
 
# 服务注册
service_info = {
    "hosts": [
        {
            "ip": "127.0.0.1",
            "port": 123
        }
    ],
    "name": "example_service",
    "protect_threshold": 0.5
}
client.add_service(**service_info)
 
# 获取服务信息
service_name = "example_service"
namespaced_service_info = client.get_service(service_name)
print(namespaced_service_info)
 
# 如果指定namespace,可以这样获取服务信息
namespace_id = "e06e437a-097c-42b9-8369-08f5624b4e49"
service_info_with_namespace = {
    SERVER_ADDR_OPT: NACOS_SERVER_ADDRESSES,
    NAMESPACE_OPT: namespace_id,
    "service_name": service_name
}
namespaced_service_info = client.get_service(**service_info_with_namespace)
print(namespaced_service_info)

在这个示例中,我们首先创建了一个Nacos客户端实例,然后使用add_service方法注册了一个服务,并使用get_service方法获取了服务信息。这个过程展示了如何在Python中与Nacos进行交互。

2024-08-08

在Python中,可以使用threading模块来创建线程。创建线程的基本步骤如下:

  1. 导入threading模块。
  2. 定义一个函数,这个函数将作为线程执行的任务。
  3. 创建一个线程对象,传入该函数。
  4. 启动线程。

要结束线程,可以使用线程对象的join()方法,这会阻塞当前线程直到被调用线程结束。

下面是创建线程和结束线程的示例代码:




import threading
import time
 
# 线程执行的任务
def thread_function(name):
    print(f"Thread {name} starting")
    time.sleep(2)
    print(f"Thread {name} ending")
 
# 创建并启动线程
def create_and_start_thread(name):
    t = threading.Thread(target=thread_function, args=(name,))
    t.start()
    return t
 
# 主程序
if __name__ == "__main__":
    thread_name = "ExampleThread"
    my_thread = create_and_start_thread(thread_name)
 
    # 做一些其他的事情...
    print("Doing some work in main thread.")
 
    # 等待线程结束
    my_thread.join()
    print("Main thread waiting for the thread to end.")

在这个例子中,我们定义了一个函数thread_function作为线程执行的任务,它简单地打印一条消息并休眠2秒。然后我们定义了一个函数create_and_start_thread来创建并启动一个线程,它返回线程对象。在主程序中,我们创建了一个线程并启动它,然后执行一些主线程的任务,最后使用join()方法等待线程结束。

2024-08-08



# 假设我们已经有了一个车牌识别模型,并且我们想要在Python中使用它来识别图片中的车牌号码。
 
# 导入必要的库
import cv2
import numpy as np
import pytesseract
 
# 设置Tesseract的路径,这里假设它安装在默认路径
# 如果在其他路径,需要指定完整路径
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
 
# 读取图片
image = cv2.imread('car_plate.jpg')
 
# 预处理图片(例如转换为灰度,二值化,去噪等)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
 
# 寻找轮廓
contours, hierarchy = cv2.findContours(thresh, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
 
# 假设最大的轮廓就是车牌的区域
largest_contour = max(contours, key=cv2.contourArea)
x, y, w, h = cv2.boundingRect(largest_contour)
 
# 裁剪车牌区域
plate = image[y:y+h, x:x+w]
 
# 将图片放大以提高识别率
# 这一步根据实际情况可选
plate = cv2.resize(plate, None, fx=2, fy=2, interpolation=cv2.INTER_CUBIC)
 
# 使用Tesseract进行车牌号码的OCR识别
plate_text = pytesseract.image_to_string(plate, config='--psm 6')
 
# 打印或处理车牌号码
print("车牌号码:", plate_text)
 
# 显示图片
cv2.imshow('Original', image)
cv2.imshow('License Plate', plate)
cv2.waitKey(0)
cv2.destroyAllWindows()

这段代码展示了如何使用Python和OpenCV来处理图片,以识别车牌区域,然后使用Tesseract进行车牌号码的OCR。这是一个基本的流程,实际应用中可能需要根据车牌图片的特性进行更复杂的预处理。

2024-08-08



import cv2
import numpy as np
 
def enhance_image(image_path, alpha, beta):
    """
    使用OpenCV自带的线性对比度增强方法
    :param image_path: 图像文件路径
    :param alpha: 线性增强因子
    :param beta: 线性增强后的偏置
    :return: 增强后的图像
    """
    # 读取图像
    image = cv2.imread(image_path)
    # 应用线性对比度增强
    enhanced_image = cv2.convertScaleAbs(image, alpha=alpha, beta=beta)
    return enhanced_image
 
# 示例使用
image_path = 'example.jpg'  # 替换为你的图像文件路径
alpha = 1.5  # 线性增强因子
beta = 10  # 线性增强后的偏置
 
enhanced_image = enhance_image(image_path, alpha, beta)
cv2.imshow('Enhanced Image', enhanced_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

这段代码展示了如何使用OpenCV的convertScaleAbs函数来增强图像的对比度。通过调整alphabeta参数,可以实现不同的强度的对比度增强效果。在实际应用中,可以通过调整这些参数来优化图像的清晰度和可视效果。

2024-08-08

在Python中安装PIL(Python Imaging Library)库可以通过pip命令来完成。但是,PIL库已经不再维护,其功能已经被Pillow库所取代。Pillow是PIL的一个分支,它更加现代,更加活跃,并且支持Python最新版本。以下是安装Pillow的步骤:

打开终端(在Windows上是命令提示符或PowerShell,在MacOS或Linux上是终端)并运行以下命令:




pip install Pillow

如果你想要安装特定版本的Pillow,可以使用以下命令:




pip install Pillow==8.2.0  # 替换为你想要安装的版本号

安装完成后,你可以通过以下Python代码来验证是否安装成功:




from PIL import Image
 
print(Image.VERSION)

如果没有错误,并且打印出版本号,则表示Pillow库已成功安装。

2024-08-08

万圣节礼物是一个Python程序,它可以生成一个包含万圣节图案的ASCII艺术字符串。以下是一个简单的Python程序,用于生成这样的礼物:




def print_hat():
    print(r"             o      o"))
    print(r"            /_\    /_\"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |__|__|  |"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |  |  |  |"))
    print(r"            |__|__|__|"))
    print(r"           /o  |  o \"))
    print(r"          /   |   \ "))
    print(r"         /    |    \"))
    print(r"        /     |     \"))
    print(r"------o-----------o------")
 
if __name__ == "__main__":
    print_hat()

这个程序定义了一个print_hat函数,该函数打印出一个简单的万圣节帽子的ASCII艺术。当你运行这个程序时,它会在控制台输出一个万圣节帽子的图案。