标签 python 下的文章

【python】Python中采集Prometheus数据，进行数据分析和可视化展示

2024-08-08




from prometheus_api import Prometheus
from prometheus_api.utils import parse_range_from_time_str
from datetime import timedelta
import pandas as pd
import matplotlib.pyplot as plt
 
# 配置Prometheus服务器
prometheus_url = 'http://your.prometheus.server.com:9090'
start_time = '2023-04-01T00:00:00Z'  # 开始时间
end_time = '2023-04-02T00:00:00Z'    # 结束时间
 
# 初始化Prometheus客户端
prom = Prometheus(url=prometheus_url)
 
# 查询指标数据
query = 'http_requests_total{job="myjob"}[1h]'  # 替换为你的查询表达式
range_seconds = parse_range_from_time_str(start_time, end_time)
result = prom.query_range(query, start_time, end_time)
 
# 将结果转换为pandas DataFrame
df = pd.DataFrame(result.get('data').get('result'))
df['time'] = pd.to_datetime(df['time'], unit='ms')
 
# 对数据进行处理和分析，例如计算每小时的平均请求数
hourly_average = df.groupby(df['time'].dt.floor('H'))['value'].mean().reset_index()
 
# 绘制每小时平均请求数的图表
plt.figure(figsize=(10, 5))
plt.plot(hourly_average['time'], hourly_average['value'], marker='o')
plt.title('Hourly Average HTTP Requests')
plt.xlabel('Time')
plt.ylabel('Requests')
plt.show()
 
# 注意：以上代码需要安装prometheus_api库，可以使用pip install prometheus_api进行安装。
# 同时，需要替换'your.prometheus.server.com:9090'为实际Prometheus服务器的URL，以及修改查询表达式'query'为你感兴趣的指标。

这段代码展示了如何使用prometheus_api库从Prometheus服务器获取数据，并使用pandas和matplotlib进行数据处理和可视化。需要注意的是，你需要根据你的Prometheus服务器配置相应的URL和查询表达式。

- 阅读更多 -

python监测mysql数据表的变化

System

2024-08-08

所有,mysql

在Python中，可以使用pymysql库来连接MySQL数据库，并监测数据表的变化。为了监测变化，可以定期比较当前数据表状态和上一次查询的状态。以下是一个简单的示例，展示如何实现这一功能：




import pymysql
import hashlib
 
# 连接数据库
conn = pymysql.connect(host='localhost', user='your_username', password='your_password', db='your_db')
 
# 用于存储上一次查询的数据表哈希值
prev_table_hash = None
 
while True:
    cursor = conn.cursor()
    cursor.execute("SELECT * FROM your_table")
    rows = cursor.fetchall()
 
    # 使用哈希算法来检测数据表的变化
    table_hash = hashlib.md5(str(rows).encode('utf-8')).hexdigest()
 
    if prev_table_hash != table_hash:
        print("数据表发生变化，当前哈希值为:", table_hash)
        # 这里可以执行数据表变化时的逻辑操作
        prev_table_hash = table_hash
    
    cursor.close()
    # 可以设置一个时间间隔来定期检查变化
    import time
    time.sleep(5)  # 休眠5秒

请确保替换localhost, your_username, your_password, your_db和your_table为你的MySQL服务器和数据表的实际信息。

这个脚本会无限循环地运行，每隔5秒检查一次数据表的当前状态，并与之前的状态进行比对。如果发现哈希值有变化，就认为数据表发生了变化，并可以执行相应的逻辑处理。这个方法的缺点是，如果表中的数据非常大，那么将整个表的数据转换为字符串并计算哈希值可能会非常耗时，并且可能会影响性能。对于大型数据库，可以考虑使用更高级的变更数据捕获(CDC)技术或数据库内置的触发器机制来优化这一过程。

- 阅读更多 -

ssm/php/node/python基于HTML5的武昌理工学院二手交易网站

System

2024-08-08

所有,html5

由于提供源代码和数据库的请求可能会导致版权问题，我无法直接提供源代码或数据库。但我可以提供一个基于HTML5的简单武昌理工大学二手交易网站的框架设计。这个框架使用了SSM（Spring MVC + Spring + MyBatis）框架进行开发，虽然不是原始代码，但可以作为一个教育用途的示例。

以下是一个简单的武昌理工大学二手交易网站的前端HTML5页面的示例代码：




<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>武昌理工大学二手交易网站</title>
</head>
<body>
    <header>
        <h1>欢迎来到二手交易平台</h1>
    </header>
    <main>
        <!-- 主要的内容区域，例如商品列表、商品详情等 -->
        <section>
            <h2>商品列表</h2>
            <!-- 商品列表内容 -->
            <ul>
                <li>商品1</li>
                <li>商品2</li>
                <li>商品3</li>
                <!-- 更多商品 -->
            </ul>
        </section>
    </main>
    <footer>
        <p>版权所有 &copy; 武昌理工大学二手交易网站</p>
    </footer>
</body>
</html>

对于后端，你需要设置Spring MVC控制器、服务层、数据访问层，并配置MyBatis来与数据库交互。以下是一个简单的Spring MVC控制器示例：




@Controller
@RequestMapping("/items")
public class ItemController {
 
    @Autowired
    private ItemService itemService;
 
    @RequestMapping(method = RequestMethod.GET)
    public String getItems(Model model) {
        List<Item> items = itemService.getItems();
        model.addAttribute("items", items);
        return "itemsList"; // 假设有一个itemsList.jsp视图
    }
 
    // 其他控制器方法，例如商品详情、购买等
}

这只是一个简单的示例，实际的网站将需要更复杂的逻辑，包括用户认证、权限控制、支付集成等。

请注意，这个示例假设你已经有了一个基本的了解如何使用SSM框架和MyBatis。如果你需要从头开始学习这些技术，你可能需要进一步的学习和实践。

- 阅读更多 -

Java语言，MySQL数据库；基于Vue与Node.js的购物网站设计与实现

System

2024-08-08

所有,nodejs

由于提供的代码已经是一个完整的项目结构，并且涉及到的内容较多，我无法提供一个完整的代码实例。但是，我可以提供一个简化的代码片段作为示例，展示如何在Java中使用JDBC连接MySQL数据库。




import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
 
public class DatabaseConnection {
    private Connection connection;
 
    public void connectToDatabase() {
        try {
            // 加载MySQL JDBC驱动程序
            Class.forName("com.mysql.cj.jdbc.Driver");
 
            // 设置数据库连接字符串，用户名和密码
            String connectionString = "jdbc:mysql://localhost:3306/mydatabase?serverTimezone=UTC";
            String username = "root";
            String password = "password";
 
            // 建立连接
            connection = DriverManager.getConnection(connectionString, username, password);
 
            System.out.println("Connected to the database successfully.");
        } catch (ClassNotFoundException e) {
            System.out.println("MySQL JDBC Driver not found.");
            e.printStackTrace();
        } catch (SQLException e) {
            System.out.println("Connection to database failed.");
            e.printStackTrace();
        }
    }
 
    public void closeConnection() {
        try {
            if (connection != null && !connection.isClosed()) {
                connection.close();
                System.out.println("Connection closed successfully.");
            }
        } catch (SQLException e) {
            System.out.println("Unable to close the connection.");
            e.printStackTrace();
        }
    }
}

这个简化的代码片段展示了如何在Java中使用JDBC连接到MySQL数据库。首先，它尝试加载MySQL的JDBC驱动程序。然后，它创建一个数据库连接字符串，并使用DriverManager获取数据库连接。最后，它关闭数据库连接。这个过程是任何数据库交互的基础，并且是任何商业网站后端设计的重要组成部分。

- 阅读更多 -

python爬虫从0到1 - ajax的post请求（肯德基餐厅位置查询）

System

2024-08-08

所有,ajax




import requests
import json
 
# 基础URL
base_url = 'https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
 
# 请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'X-Requested-With': 'XMLHttpRequest'
}
 
# 构造POST数据
post_data = {
    'cname': '北京',
    'pageIndex': '1',
    'pageSize': '100'
}
 
# 发送POST请求
response = requests.post(base_url, headers=headers, data=post_data)
 
# 解析JSON数据
data = response.json()
 
# 打印结果
print(json.dumps(data, indent=4))

这段代码首先定义了基础URL和请求头，然后构造了需要通过POST发送的数据。接着使用requests库发送POST请求，并使用json模块解析返回的JSON数据。最后打印格式化的JSON数据以便查看。这个过程模拟了对肯德基餐厅位置查询接口的调用，并展示了如何处理AJAX POST请求。

- 阅读更多 -

Python的Scrapy框架：爬虫利器详解

System

2024-08-07

所有,爬虫

Scrapy是一个用Python编写的开源爬虫框架，用于抓取网站并提取结构化数据。以下是一个简单的Scrapy项目的创建和运行流程：

安装Scrapy：




pip install scrapy

创建一个新的Scrapy项目：




scrapy startproject myspider




cd myspider

创建一个新的爬虫：




scrapy genspider example example.com

编辑爬虫文件（例如spiders/example.py），提取所需数据：




import scrapy
 
class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']
 
    def parse(self, response):
        # 提取数据逻辑
        pass

运行爬虫：




scrapy crawl example

这个流程展示了如何创建一个简单的Scrapy爬虫，设置起始URL，定义允许爬取的域名，并在parse方法中编写提取逻辑。当你运行爬虫时，Scrapy会根据你的指令去抓取页面和提取数据。

- 阅读更多 -

爬取快看漫画#python-爬虫

System

2024-08-07

所有,爬虫

要爬取快看漫画信息，你可以使用Python的requests和BeautifulSoup库。以下是一个简单的例子，展示了如何抓取一个漫画的标题和描述。

首先，确保安装了所需的库：




pip install requests beautifulsoup4

然后，使用以下代码：




import requests
from bs4 import BeautifulSoup
 
# 快看漫画的一部作品URL
url = 'https://www.kankan.com/kan/1000000001.html'
 
# 发送HTTP请求
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功
 
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
 
# 获取漫画标题
title = soup.find('h1', class_='title').text.strip()
 
# 获取漫画描述
description = soup.find('div', class_='detail').text.strip()
 
print(f"漫画标题: {title}")
print(f"漫画描述: {description}")

请注意，实际的网站可能会有反爬虫策略，比如需要处理JavaScript渲染的内容，或者需要添加headers来模拟用户行为。如果网站有防爬机制，你可能需要添加额外的步骤，如使用Selenium进行模拟点击或使用代理等。

- 阅读更多 -

基于python flask的旅游数据大屏实现，有爬虫有数据库

System

2024-08-07

所有,爬虫

由于提供的代码较为复杂且已包含了爬虫和数据库的相关操作，以下是一个简化版的代码示例，展示了如何使用Flask和SQLite创建一个简单的旅游数据大屏：




from flask import Flask, render_template
import sqlite3
 
app = Flask(__name__)
DATABASE = 'travel.db'
 
def get_data():
    # 连接数据库并获取数据
    conn = sqlite3.connect(DATABASE)
    cursor = conn.cursor()
    cursor.execute("SELECT * FROM travel_data")
    data = cursor.fetchall()
    conn.close()
    return data
 
@app.route('/')
def index():
    # 获取数据并传递给模板
    data = get_data()
    return render_template('index.html', data=data)
 
if __name__ == '__main__':
    app.run(debug=True)

在这个例子中，get_data 函数用于连接SQLite数据库并获取数据。index 路由处理器获取数据并将其传递给渲染的模板。

假设有一个名为 index.html 的模板文件，它可能会是这样的：




<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Travel Data Dashboard</title>
</head>
<body>
    <h1>Travel Data Dashboard</h1>
    <table>
        <tr>
            <th>Column 1</th>
            <th>Column 2</th>
            <!-- 更多列 -->
        </tr>
        {% for row in data %}
        <tr>
            <td>{{ row[0] }}</td>
            <td>{{ row[1] }}</td>
            <!-- 更多数据 -->
        </tr>
        {% endfor %}
    </table>
</body>
</html>

请注意，这个例子假定数据库和表已经预先创建，并且已经有一个名为 travel_data 的表格，其结构和数据是根据实际情况设置的。

这个简单的Web应用程序使用Flask框架，连接SQLite数据库，并使用Jinja2模板引擎渲染数据。这个例子展示了如何将爬虫获取的数据存储到数据库中，并通过Web界面进行展示，是一个简单的数据处理和可视化的例子。

- 阅读更多 -

数据分组还在手忙脚乱？Python groupby一招搞定，效率翻倍！

System

2024-08-07

所有,python




from itertools import groupby
 
# 假设有一个包含多个字典的列表，我们要根据某个键对字典进行分组
items = [
    {'name': 'apple', 'type': 'fruit'},
    {'name': 'banana', 'type': 'fruit'},
    {'name': 'carrot', 'type': 'vegetable'},
    {'name': 'apple', 'type': 'fruit'},
    {'name': 'parrot', 'type': 'bird'},
    {'name': 'apple', 'type': 'fruit'},
]
 
# 使用groupby进行分组
grouped_items = {}
for key, group in groupby(items, key=lambda x: x['name']):
    grouped_items[key] = list(group)
 
# 输出分组结果
print(grouped_items)

这段代码首先导入了itertools模块中的groupby函数，然后定义了一个包含多个字典的列表items。通过groupby以及一个lambda函数来指定分组的键，最后将分组结果存储在一个字典grouped_items中，其中键是分组的名称，值是具有该名称的项列表。最后打印出分组结果。这个例子展示了如何使用groupby来对复杂数据进行高效分组。

- 阅读更多 -

使用Docker部署Python Flask应用的完整教程

System

2024-08-07

所有,python




# 使用Python官方镜像作为基础镜像
FROM python:3.8-slim
 
# 将工作目录设置为/app
WORKDIR /app
 
# 将当前目录下的所有文件复制到工作目录内
COPY . /app
 
# 使用pip命令安装requirements.txt中指定的依赖
RUN pip install --no-cache-dir -r requirements.txt
 
# 暴露容器端口8080，与外部网络互通
EXPOSE 8080
 
# 定义环境变量，设置Flask应用的启动命令
ENV FLASK_APP=app.py
ENV FLASK_RUN_HOST=0.0.0.0
 
# 当Docker容器启动时运行Flask应用
CMD ["flask", "run"]

这个Dockerfile为部署Python Flask应用提供了一个简洁的示例。它首先基于Python 3.8的官方轻量级Docker镜像来设置工作环境，然后复制应用文件并安装依赖，最后设置端口并定义启动命令。这样，无论是开发还是生产环境，都能够快速部署并运行Flask应用。

- 阅读更多 -