Tech Blog

2024-08-14

要将本地项目上传到 Gitee，您需要先在 Gitee 上创建一个仓库，然后使用 Git 命令行工具将本地项目推送到 Gitee。以下是简要步骤和示例代码：

在 Gitee 上创建一个新的仓库。
在本地项目目录中初始化 Git（如果尚未初始化）：
```
git init
```
添加所有项目文件到 Git 暂存区：
```
git add .
```
提交暂存区的内容到本地仓库：
```
git commit -m "Initial commit"
```
添加 Gitee 仓库的远程仓库地址（请替换下面的 your_gitee_username 和 your_repo_name 为您的 Gitee 用户名和仓库名）：
```
git remote add origin https://gitee.com/your_gitee_username/your_repo_name.git
```
推送代码到 Gitee：
```
git push -u origin master
```

确保您已安装 Git 并且在执行上述命令时替换了正确的用户名和仓库名。如果您的本地项目已有 .git 文件夹（即已是一个 Git 仓库），则只需执行第 5 和第 6 步。

ES索引库操作

2024-08-14




from datetime import datetime
from elasticsearch import Elasticsearch
 
# 假设ES服务器地址为 "http://localhost:9200"
es = Elasticsearch(["http://localhost:9200"])
 
# 创建一个新的索引
def create_index(index_name):
    body = {
        "mappings": {
            "properties": {
                "timestamp": {
                    "type": "date",
                    "format": "yyyy-MM-dd HH:mm:ss"
                },
                "message": {
                    "type": "text"
                }
            }
        }
    }
    response = es.indices.create(index=index_name, body=body)
    print(response)
 
# 删除一个索引
def delete_index(index_name):
    response = es.indices.delete(index=index_name)
    print(response)
 
# 添加文档到索引
def add_document(index_name, timestamp, message):
    document = {
        "timestamp": timestamp,
        "message": message
    }
    response = es.index(index=index_name, body=document)
    print(response)
 
# 查询索引中的文档
def search_documents(index_name):
    query = {
        "query": {
            "match_all": {}
        }
    }
    response = es.search(index=index_name, body=query)
    print(response)
 
# 使用示例
index_name = "my_index"
create_index(index_name)
add_document(index_name, datetime.now().strftime("%Y-%m-%d %H:%M:%S"), "This is a test message")
search_documents(index_name)
delete_index(index_name)

这段代码展示了如何使用Elasticsearch Python API来创建一个新的索引、添加文档、执行搜索和删除索引。代码中定义了索引的映射，包括时间戳和文本字段，并展示了如何格式化时间戳。在实际应用中，你需要根据自己的需求调整索引名称、映射和查询条件。

Elasticsearch 聚合查询(aggs)，java后端面试常见问题

2024-08-14

在Elasticsearch中，聚合查询（aggs）允许你对数据执行复杂的分析，比如值的计数、平均值、最大值、最小值等。以下是一个使用Java High Level REST Client执行聚合查询的例子：




import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.metrics.avg.Avg;
import org.elasticsearch.search.aggregations.metrics.max.Max;
import org.elasticsearch.search.aggregations.metrics.min.Min;
import org.elasticsearch.search.aggregations.metrics.sum.Sum;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.search.builder.SearchSourceBuilder;
 
// 假设你已经有了一个RestHighLevelClient实例client
 
SearchRequest searchRequest = new SearchRequest("index_name"); // 替换为你的索引名
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(QueryBuilders.matchAllQuery()); // 使用所有文档
 
// 添加聚合查询
searchSourceBuilder.aggregation(AggregationBuilders.terms("group_by_field").field("field_name")); // 分组字段
searchSourceBuilder.aggregation(AggregationBuilders.avg("avg_agg").field("field_name")); // 平均值
searchSourceBuilder.aggregation(AggregationBuilders.max("max_agg").field("field_name")); // 最大值
searchSourceBuilder.aggregation(AggregationBuilders.min("min_agg").field("field_name")); // 最小值
searchSourceBuilder.aggregation(AggregationBuilders.sum("sum_agg").field("field_name")); // 求和
 
searchRequest.source(searchSourceBuilder);
 
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
Aggregations aggregations = searchResponse.getAggregations();
 
// 获取聚合结果
Terms groupByAgg = aggregations.get("group_by_field");
Avg avgAgg = aggregations.get("avg_agg");
Max maxAgg = aggregations.get("max_agg");
Min minAgg = aggregations.get("min_agg");
Sum sumAgg = aggregations.get("sum_agg");
 
// 处理聚合结果
// ...

这段代码演示了如何在Java中使用Elasticsearch High Level REST Client执行聚合查询。你需要替换index_name为你的索引名，并且调整\`field_

只需一文带你深入在 Vue 项目中配置 ESLint 和 Prettier

2024-08-14




# 安装ESLint和Prettier
npm install eslint prettier eslint-plugin-vue babel-eslint eslint-config-prettier --save-dev
 
# 创建.eslintrc.js配置文件
touch .eslintrc.js
 
# 在.eslintrc.js中添加以下配置
module.exports = {
  root: true,
  env: {
    node: true,
  },
  extends: [
    'plugin:vue/essential',
    'eslint:recommended',
    'plugin:prettier/recommended',
  ],
  rules: {
    'no-console': process.env.NODE_ENV === 'production' ? 'error' : 'off',
    'no-debugger': process.env.NODE_ENV === 'production' ? 'error' : 'off',
  },
  parserOptions: {
    parser: 'babel-eslint',
  },
};
 
# 创建.prettierrc配置文件
touch .prettierrc
 
# 在.prettierrc中添加以下配置
{
  "singleQuote": true,
  "trailingComma": "es5",
  "printWidth": 80,
  "tabWidth": 2,
  "semi": false,
  "vueIndentScriptAndStyle": true
}
 
# 在package.json中添加lint脚本
"scripts": {
  "lint": "eslint --ext .js,.vue src"
}

以上命令和配置将ESLint和Prettier集成到Vue项目中。通过运行npm run lint可以对项目中的src目录下的所有.js和.vue文件进行代码质量检查。

ElasticSearch总结

2024-08-14

Elasticsearch是一个基于Lucene库的开源搜索和分析引擎，设计用于云计算中，能够达到实时搜索，高可用，扩展性和管理的需求。

以下是Elasticsearch的一些常见概念和操作的概述：

索引(Index)：Elasticsearch中的索引是一种数据库，用于存储数据。
文档(Document)：索引中的数据被表示为文档。文档由字段组成。
类型(Type)：在索引中，可以定义一个或多个类型。每个类型存储具有相同结构的文档。
分片(Shard)：数据可以分布在多个分片上。分片是单个Lucene索引的实例。
副本(Replica)：数据的副本，提供高可用性。
集群(Cluster)：由多个节点组成的网络，每个节点可以存储数据并参与集群的索引和搜索功能。
节点(Node)：集群中的单个服务器实例，存储数据并参与集群的索引和搜索功能。
映射(Mapping)：定义文档的字段和类型。
分析器(Analyzer)：文本分析器，用于处理文本字段的文本。
搜索(Search)：根据查询条件，搜索索引中的数据。
聚合(Aggregations)：对搜索结果进行分析。
快照(Snapshot)和恢复(Restore)：快照功能允许你创建索引的一个点，然后可以将其恢复到这个状态。
安全和权限(Security)：Elasticsearch支持基于角色的访问控制(RBAC)和基于身份的访问控制(IBAC)。
监控(Monitoring)和日志(Logs)：Elasticsearch提供了监控工具，可以查看集群的健康状况、性能指标和日志。
更新(Update)：更新已索引的文档。
删除(Delete)：删除已索引的文档。
批量(Bulk)操作：执行批量操作，如索引或删除多个文档。
轮询(Rollover)：当您需要定期替换更新的索引时，可以使用索引滚动。
分页(Pagination)：在搜索结果中，可以使用from和size参数进行分页。
排序(Sorting)：在搜索结果中，可以根据字段排序。
脚本(Scripting)：在文档上执行脚本。
数据流(Data Stream)：连续的索引，用于无限期存储数据。
时间序列(Time Series)：Elasticsearch提供了时间序列功能，用于快速插入和查询时间序列数据。
机器学习(Machine Learning)：Elasticsearch提供了机器学习功能，可以在数据中发现模式和趋势。
图形(Graph)：Elasticsearch提供了图形相关的功能，可以用来索引和搜索图形数据。
安全和配置(Security & Configuration)：配置Elasticsearch的安全性和网络设置。
集成(Integration)：Elasticsearch可以与许多其他系统集成，如数据库

2024-08-14

由于原始代码已经提供了一个完整的工程，下面我将提供一个核心函数的简化示例，展示如何在Zynq-7000系列的FPGA中使用VPS实现图像缩放。




// 图像缩放模块
module image_scaler(
    input clk,
    input rst,
    // 输入图像接口
    input [7:0] in_pixels,
    input in_valid,
    output reg in_ready,
    // 输出图像接口
    output reg [7:0] out_pixels,
    output reg out_valid,
    input out_ready
);
 
// 缩放系数
parameter SCALE_X = 2; // 水平方向缩放因子
parameter SCALE_Y = 2; // 垂直方向缩放因子
 
// 内部信号声明
reg [31:0] in_cnt; // 输入像素计数器
reg [31:0] out_cnt; // 输出像素计数器
reg [31:0] scale_cnt; // 缩放计数器
reg in_pixels_r; // 输入像素寄存
 
// 水平方向缩放逻辑
always @(posedge clk) begin
    if (rst) begin
        in_cnt <= 0;
        in_pixels_r <= 0;
        scale_cnt <= 0;
    end else if (in_valid && in_ready) begin
        if (in_cnt < SCALE_X - 1) begin
            in_cnt <= in_cnt + 1;
            in_pixels_r <= in_pixels;
        end else begin
            in_cnt <= 0;
            scale_cnt <= scale_cnt + 1;
            if (scale_cnt < SCALE_Y - 1) begin
                in_pixels_r <= in_pixels_r;
            end else begin
                in_pixels_r <= 0;
                scale_cnt <= 0;
            end
        end
    end
end
 
// 输出信号控制
always @(posedge clk) begin
    if (rst) begin
        out_valid <= 0;
        out_pixels <= 0;
    end else if (scale_cnt == SCALE_Y - 1 && out_ready) begin
        out_valid <= 1;
        out_pixels <= in_pixels_r;
    end else if (out_valid && out_ready) begin
        out_valid <= 0;
        out_pixels <= 0;
    end
end
 
assign in_ready = (in_cnt < SCALE_X - 1);
 
endmodule

这段代码展示了如何在FPGA内部使用计数器来控制图像缩放的过程。在这个简化的例子中，我们假设水平和垂直方向的缩放因子已知且相同。代码中包含了基本的同步和流控制逻辑，以确保数据流能够正确地通过VPS。在实际的应用中，可能需要更复杂的逻辑来处理不同的缩放比例和边界条件。

ES入门四：Term Query Api实践

2024-08-14




from elasticsearch import Elasticsearch
 
# 连接到Elasticsearch
es = Elasticsearch(hosts=["localhost:9200"])
 
# 定义term查询的参数
index_name = "kibana_sample_data_flights"
query_field = "DestWeather"
query_value = "Sunny"
 
# 构建查询
query = {
    "query": {
        "term": {
            query_field: query_value
        }
    }
}
 
# 执行查询
response = es.search(index=index_name, body=query)
 
# 打印查询结果
print(response)

这段代码演示了如何使用Elasticsearch Python API执行term查询。首先，我们连接到本地运行的Elasticsearch实例。然后，我们定义了term查询的参数，包括要查询的索引名称、字段和值。接着，我们构建了查询并执行它。最后，我们打印出查询结果。这是一个简单的实例，但在实际应用中，查询参数可能会更加复杂。

使用香橙派学习Linux udev的rules 并实现U盘的自动挂载

2024-08-14

在Linux系统中，udev是一种工具，用于管理和指派系统中的设备文件。以下是一个简单的udev规则文件示例，用于自动挂载U盘：

首先，你需要找到U盘的设备ID，可以通过lsblk或fdisk -l命令来查看。
创建或编辑udev规则文件。通常这些文件位于/etc/udev/rules.d/目录下，以.rules结尾。例如，创建一个名为99-usbstorage.rules的文件：




# /etc/udev/rules.d/99-usbstorage.rules
# 此规则用于自动挂载所有的U盘到/media/usbdisk

# 针对U盘的规则
KERNEL=="sd[a-z][0-9]", SUBSYSTEM=="block", ACTION=="add", RUN+="/bin/sh -c 'echo /dev/%k  /media/usbdisk  vfat  defaults  0  0' >> /etc/fstab"

# 触发挂载操作
KERNEL=="sd[a-z][0-9]", SUBSYSTEM=="block", ACTION=="add", RUN+="/bin/mount -a"




mkdir -p /media/usbdisk

如果系统已经有了挂载点，你可能需要先卸载它：




umount /dev/sdx1  # 替换sdx1为你的U盘设备名

重新加载udev规则，以便使更改生效：




udevadm control --reload-rules
udevadm trigger

如果你想立即挂载U盘，可以运行：




mount /dev/sdx1 /media/usbdisk  # 替换sdx1为你的U盘设备名

请注意，你需要根据你的U盘实际设备名替换/dev/sdx1。此外，vfat文件系统类型假设U盘格式化为FAT32。如果U盘使用其他文件系统，请相应地更改此规则。

从零开发短视频电商 OpenSearch/Elasticsearch 查询总结

2024-08-14




from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search, Q
 
# 假设已经有了Elasticsearch的连接客户端
es = Elasticsearch("http://localhost:9200")
 
# 定义视频商品搜索类
class VideoSearch(Search):
    index = 'video_index'
    doc_type = 'video'
 
# 构建视频搜索对象
search = VideoSearch(using=es)
 
# 搜索关键字
keyword = "Python"
 
# 设置搜索过滤条件
search.filter("range", publish_time={"gte": "now-1d/d"})  # 发布时间过滤，最近24小时
search.query(Q("match", title=keyword))  # 根据标题匹配关键字
 
# 执行搜索并获取结果
response = search.execute()
 
# 打印搜索结果
for hit in response:
    print(f"视频标题：{hit.title}, 发布时间：{hit.publish_time}")

这段代码展示了如何使用Elasticsearch DSL库来构建一个针对视频商品的搜索，并设置了一天内发布的限制条件，以及根据视频标题匹配关键字的查询。代码简洁，注重逻辑性，可以作为开发者学习和使用Elasticsearch进行查询的一个很好的示例。

网页数据提取——XPath（py爬虫）

2024-08-14

所有,爬虫




import requests
from lxml import etree
 
# 目标URL
url = 'https://www.example.com'
 
# 发送HTTP请求
response = requests.get(url)
 
# 检查请求是否成功
if response.status_code == 200:
    # 使用etree.HTML解析响应内容
    html = etree.HTML(response.text)
    
    # 定义XPath表达式来选取所需的数据
    # 例如，选取所有的h2标签中的文本内容
    xpath_h2 = '//h2/text()'
    
    # 使用etree.xpath()方法来提取数据
    h2_texts = html.xpath(xpath_h2)
    
    # 打印结果
    for h2 in h2_texts:
        print(h2)
else:
    print("请求失败，状态码:", response.status_code)

这段代码演示了如何使用Python的requests库和lxml库从网页中提取数据。首先，我们发送一个HTTP GET请求到指定的URL，然后检查响应状态。如果请求成功，我们使用etree.HTML解析响应内容，并定义XPath表达式来选取页面中的特定数据。最后，我们遍历并打印出选取的数据。