分类后端技术下的文章

2024-09-03

所有,java

SpringBoot通过以下方式简化了Spring开发：

自动配置：SpringBoot根据类路径上的库和配置，自动配置Spring应用程序。
起步依赖：提供了一系列的starter POMs，用于简化项目配置。
命令行接口：提供了一个命令行工具来创建、运行和管理SpringBoot应用。
Actuator：提供了一套微服务中的功能，如健康检查、度量收集等。
无需部署WAR文件：SpringBoot应用可以打包成一个可执行的JAR文件，可以直接运行。
嵌入式服务器：内嵌Tomcat、Jetty或Undertow等，无需部署WAR文件。

SpringBoot的特性和源码分析可以从以下几个方面进行：

启动类上的@SpringBootApplication注解，它是SpringBoot的核心注解，它是一个组合注解，包含了@EnableAutoConfiguration，该注解开启自动配置功能。
SpringBootApplication注解会扫描当前包及其子包下的所有类，查找标有@Component、@Service、@Repository等注解的类，并将它们注册为Spring的Bean。
自动配置的实现依赖于spring-boot-autoconfigure模块，该模块中包含了许多自动配置的类。
启动时，SpringBoot会读取application.properties或application.yml配置文件，根据配置文件的内容和类路径下的jar包来自动配置Spring容器。
使用spring-boot-starter依赖可以快速启动新项目，它包含了SpringBoot基础需要的所有依赖。
使用spring-boot-maven-plugin或spring-boot-gradle-plugin可以打包成一个可执行的JAR或WAR文件。

以上是SpringBoot简化开发和核心特性的简要介绍和源码分析，具体细节需要阅读SpringBoot的官方文档和源码。

利用 Docker 简化Redis部署：快速搭建Redis服务

2024-09-03

所有,redis




# 拉取最新的 Redis 镜像
docker pull redis
 
# 创建并启动 Redis 容器
docker run --name my-redis -d redis
 
# 如果需要将 Redis 端口映射到宿主机，可以使用以下命令
docker run --name my-redis -p 6379:6379 -d redis
 
# 如果需要挂载数据卷以持久化数据，可以使用以下命令
docker run --name my-redis -v /my/local/path:/data -d redis redis-server --appendonly yes
 
# 如果需要设置密码，可以使用以下命令
docker run --name my-redis -d redis redis-server --requirepass yourpassword
 
# 如果需要同时设置端口映射、数据卷和密码，可以使用以下命令
docker run --name my-redis -p 6379:6379 -v /my/local/path:/data -d redis redis-server --requirepass yourpassword --appendonly yes

以上命令可以快速启动一个 Redis 服务。根据需要，可以选择是否映射端口、挂载数据卷以及设置密码。

windows和ubuntu文件互传方法

2024-09-03

在Windows和Ubuntu之间进行文件互传，可以使用以下几种方法：

使用FTP服务器：在Ubuntu上设置FTP服务器，然后在Windows上使用FTP客户端连接并传输文件。
使用SSH和SCP命令：在Ubuntu上设置SSH服务，然后使用Windows上的SCP命令或者使用第三方SFTP客户端（如FileZilla）进行文件传输。
使用网络硬盘或者NAS设备：将Ubuntu和Windows都连接到同一网络硬盘或者NAS设备，然后直接在文件系统中访问和传输文件。
使用U盘：插入U盘，然后复制粘贴文件。
使用电子邮件：在Ubuntu上设置电子邮件服务器，将文件作为附件发送到Windows邮箱，或者反过来。
使用云服务：将文件上传到云存储服务（如Dropbox, Google Drive等），然后在另一台计算机上下载。

以下是使用SSH和SCP命令的示例：

在Ubuntu上设置SSH服务：




sudo apt-get update
sudo apt-get install openssh-server

在Windows上使用SCP命令：




scp path/to/local/file.txt username@ubuntu-ip-address:/path/to/remote/directory/

或者使用FileZilla客户端：

打开FileZilla。
输入Ubuntu的IP地址、用户名和密码。
连接到服务器。
拖放文件进行传输。

请根据具体情况选择合适的方法，并确保网络连接和安全措施（如防火墙设置和SSH/FTP密码/密钥的保护）已经正确配置。

Django 表单常用字段参数

2024-09-03

在Django中，表单字段类通常有一些参数可以用来定制字段的行为。以下是一些常用的字段参数：

max_length：字段允许的最大字符长度。
min_length：字段允许的最小字符长度。
label：字段的标签，用于在表单中显示。
initial：字段的初始值。
help_text：字段的帮助文本，可以在表单渲染时显示。
required：是否字段是必填的。
widget：定义如何渲染字段到HTML。
error_messages：自定义错误信息。

以下是一个简单的Django表单示例，展示了这些参数的使用：




from django import forms
 
class MyForm(forms.Form):
    username = forms.CharField(
        max_length=100,
        min_length=2,
        label='用户名',
        initial='guest',
        help_text='请输入您的用户名',
        required=True,
        widget=forms.TextInput(attrs={'class': 'form-control'})
    )
    password = forms.CharField(
        max_length=100,
        label='密码',
        widget=forms.PasswordInput(attrs={'class': 'form-control'}),
        error_messages={'required': '密码不能为空', 'min_length': '密码太短'}
    )

在这个例子中，username 字段限制了最大长度为100，最小长度为2，并且是必填的。password 字段是一个密码输入框，并且定制了错误信息。

【漏洞复现系列】Tomcat文件上传 (CVE-2017-12615)

2024-09-03

所有,java




# 安装Burp Suite和Tomcat
# 以下命令适用于Kali Linux环境
 
# 更新系统
sudo apt-get update && sudo apt-get upgrade -y
 
# 安装Burp Suite
sudo apt-get install burpsuite -y
 
# 启动Burp Suite代理（确保关闭防火墙和任何可能的网络过滤器）
# 通常Burp Suite会在安装后自动配置好代理
 
# 安装Tomcat
sudo apt-get install tomcat9 tomcat9-admin -y
 
# 启动Tomcat服务
sudo systemctl start tomcat9
 
# 浏览器访问 http://your_ip:8080 进行Tomcat管理员设置
 
# 复现CVE-2017-12615漏洞
# 使用Burp Suite代理捕获并修改请求，发送到Repeater模块
# 在Payload处加入文件路径，如 /home/tomcat/webapps/ROOT/..%2f..%2f..%2f..%2f..%2fetc/passwd
# 发送请求，如果Tomcat未修复该漏洞，将会获取到文件内容

以上是在Kali Linux环境下安装Burp Suite和Tomcat，并进行相关配置的命令。然后通过Burp Suite代理来复现CVE-2017-12615漏洞。注意替换your_ip为实际的服务器IP地址，并在复现时确保遵循当地法律法规和道德标准。

tomcat+课后实验

2024-09-03

所有,java

很抱歉，但是您提供的信息不足以明确地诊断问题。"tomcat+课后实验"不是一个具体的错误信息或者问题描述，它缺乏细节。Tomcat是一个Java Servlet容器，通常用于Web应用程序的部署和服务。如果您在进行某种实验时遇到了与Tomcat相关的问题，您需要提供更多的信息才能获得有效的帮助。

例如，您遇到的问题可能包括但不限于：

Tomcat启动失败，报错信息是什么？
访问某个部署在Tomcat上的应用程序时出现了错误？
在配置Tomcat相关设置时（如context.xml, server.xml等）出现错误？

为了解决问题，您可以尝试以下步骤：

查看Tomcat日志文件（如catalina.out），通常位于Tomcat安装目录下的logs文件夹中。
确认Tomcat服务的端口没有被占用，并且防火墙设置没有阻止访问。
确认您的应用程序是否正确打包为WAR文件，并且部署在了正确的位置。
检查应用程序的配置文件（如web.xml）是否正确无误。
如果是配置问题，请确保您的配置符合Tomcat的要求。
如果问题依然存在，您可以尝试重新下载Tomcat的最新版本或者查看官方文档和社区支持。

如果您能提供更具体的错误信息或者实验内容，我将能够提供更精确的帮助。

探索Scrapy-DjangoItem：数据抓取与Django模型的完美结合

2024-09-03




import scrapy
from scrapy.loader.processors import TakeFirst
from scrapy_djangoitem import DjangoItem
 
# 假设我们有一个Django模型UserProfile
from myapp.models import UserProfile
 
class UserProfileItem(DjangoItem):
    django_model = UserProfile
    
class MySpider(scrapy.Spider):
    name = 'user_profile'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/user/profiles']
 
    def parse(self, response):
        for profile in response.css('div.profile'):
            item = UserProfileItem()
            item['name'] = profile.css('div.name ::text').extract_first(default='').strip()
            item['title'] = profile.css('div.title ::text').extract_first(default='').strip()
            # 假设我们想要保存的是最先出现的头像图片链接
            item['avatar_url'] = profile.css('div.avatar img::attr(src)').extract_first(default='')
            yield item
 
# 注意：这个例子假设UserProfile模型有name, title和avatar_url字段，并且模型中的字段与Item对象中的字段对应。

这个例子中，我们定义了一个UserProfileItem的子类，它使用了DjangoItem基类并指定了Django模型。在爬虫中，我们使用CSS选择器来提取页面中的用户信息，并将这些信息填充到UserProfileItem实例中。最后，我们通过yield将这个实例提交给Scrapy-DjangoItem管道，由管道负责将数据保存到Django数据库中。

laravel 使用 MongoDB

2024-09-03

在 Laravel 中使用 MongoDB，您可以使用 jenssegers/mongodb 包来简化操作。以下是如何安装和配置此包，并进行基本的 CRUD 操作的步骤：

安装包：




composer require jenssegers/mongodb

发布配置文件（可选）：




php artisan vendor:publish --provider="Jenssegers\Mongodb\MongodbServiceProvider"

在 config/app.php 中注册服务提供者：




Jenssegers\Mongodb\MongodbServiceProvider::class,

设置环境变量 .env：




DB_CONNECTION=mongodb
DB_HOST=127.0.0.1
DB_PORT=27017
DB_DATABASE=your_database

使用 Eloquent 模型进行操作：




use Jenssegers\Mongodb\Eloquent\Model;
 
class User extends Model
{
    //
}

现在，您可以像使用常规 Eloquent 那样使用模型进行 MongoDB 的 CRUD 操作：




// 创建新用户
$user = User::create(['name' => 'John Doe', 'email' => 'john@example.com']);
 
// 获取所有用户
$users = User::all();
 
// 查找单个用户
$user = User::find($id);
 
// 更新用户信息
$user->email = 'newemail@example.com';
$user->save();
 
// 删除用户
$user->delete();

以上是使用 Laravel 和 jenssegers/mongodb 包进行 MongoDB 操作的基本步骤和示例。

Oracle 流stream数据的复制

2024-09-03

Oracle数据库提供了复制流(Streams)的功能，可以实现数据的实时复制。以下是一个简单的例子，展示如何配置和使用Oracle Streams进行数据复制。

确保数据库已经启用了Oracle Streams特性。
配置数据库连接。
创建主数据库（生产数据库）和从数据库（复制目标数据库）之间的复制。

以下是一个基本的步骤，用于配置Oracle Streams：




-- 在主数据库上执行
-- 创建Streams的管理用户（如果尚未创建）
CREATE USER streams_admin IDENTIFIED BY password;
GRANT DBA TO streams_admin;
 
-- 配置主数据库
-- 启用归档日志模式
ALTER DATABASE FORCE LOGGING;
-- 启用主备制
ALTER SYSTEM FORCE LOGGING;
-- 启用实例初始化参数
ALTER SYSTEM SET aq_tm_processes=2 SCOPE=BOTH;
ALTER SYSTEM SET global_names=TRUE SCOPE=BOTH;
ALTER SYSTEM SET job_queue_processes=10 SCOPE=BOTH;
ALTER SYSTEM SET parallel_max_servers=20 SCOPE=BOTH;
ALTER SYSTEM SET streams_pool_size=25M SCOPE=BOTH;
-- 创建Streams池
CREATE POOL stream_pool MINIMUM 50000 CURRENT 50000 MAXIMUM 50000 INCREMENT 100;
 
-- 在从数据库上执行
-- 配置实例初始化参数
ALTER SYSTEM SET global_names=TRUE SCOPE=BOTH;
ALTER SYSTEM SET job_queue_processes=10 SCOPE=BOTH;
ALTER SYSTEM SET parallel_max_servers=20 SCOPE=BOTH;
ALTER SYSTEM SET streams_pool_size=25M SCOPE=BOTH;
-- 创建Streams池
CREATE POOL stream_pool MINIMUM 50000 CURRENT 50000 MAXIMUM 50000 INCREMENT 100;
 
-- 在主数据库上执行
-- 创建Streams的队列
BEGIN
  DBMS_STREAMS_ADM.CREATE_QUEUE(
    queue_name          => 'streams_queue',
    queue_table         => 'streams_queue_table',
    queue_user          => 'streams_admin',
    batch_size          => 100,
    batch_delay         => 0,
    log_on_error        => TRUE,
    purge_policy        => DBMS_STREAMS_ADM.purge_policy_manual,
    execution_schedule  => NULL);
END;
/
 
-- 在主数据库上执行
-- 创建Streams的转换
BEGIN
  DBMS_STREAMS_ADM.CREATE_TRANSFORMATION(
    transformation_name => 'streams_trans',
    queue_name          => 'streams_queue',
    source_database     => DBMS_STREAMS_ADM.source_database_config,
    destination_database => DBMS_STREAMS_ADM.destination_database_config,
    included_tables     => 'included_tables_list',
    excluded_tables     => 'excluded_tables_list',
    transform_function  => 'transform_function_name');
END;
/
 
-- 在主数据库上执行
-- 启用Advanced Replication
EXEC DBMS_STREAMS_ADM.set_up_replication(
  local_streams_administrator => 'streams_admin',
  remote_streams_administrator => 'streams_admin@remote_db',

在autodl平台使用llama-factory微调Qwen1.5-7B

2024-09-03

所有,AIGC

在AutoDL平台使用llama-factory微调Qwen1.5-7B模型，您需要遵循以下步骤：

安装llama-factory库：




pip install llama-factory

准备微调数据集，确保其格式符合llama-factory要求。
使用llama-factory进行微调，以下是一个简单的微调示例：




import llama_factory
from transformers import AutoTokenizer, AutoModel
 
# 加载1.5T Qwen模型
tokenizer = AutoTokenizer.from_pretrained("llama-gen-7b-hf")
model = AutoModel.from_pretrained("llama-gen-7b-hf").half().cuda()
 
# 定义微调参数
train_dataset = "path_to_your_train_dataset"
valid_dataset = "path_to_your_valid_dataset"
 
# 微调模型
llama = llama_factory.LLAMAFactory(
    model=model,
    tokenizer=tokenizer,
    train_dataset=train_dataset,
    valid_dataset=valid_dataset,
    batch_size=1,  # 根据您的GPU内存进行调整
    learning_rate=1e-5,
    num_train_epochs=1,  # 根据数据集大小调整
    save_steps=10000,
    save_total_limit=2,
    gradient_accumulation_steps=16,  # 根据您的GPU核心数调整
    fp16=True,
    use_multiprocessing=True,
    num_workers=4,  # 根据您的CPU核心数调整
)
 
# 开始微调
llama.train()
 
# 保存微调后的模型
llama.save_model("path_to_save_model")

请确保替换path_to_your_train_dataset、path_to_your_valid_dataset和path_to_save_model为您的数据集路径和保存路径。微调参数（批次大小、学习率、训练轮数等）应根据您的具体情况进行调整。

注意：以上代码示例假设您已经有了一个合适的数据集，并且该数据集与llama-factory的要求相匹配。您需要根据自己的数据集结构和格式相应地调整数据集加载过程。