分类后端技术下的文章

【redis】初识redis和分布式系统的基本知识

2024-09-05

所有,redis

Redis 是一个开源的使用 C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。

Redis 与其他数据库解决方案的不同之处在于它支持的存储值的类型相对更多，如字符串、列表、集合、有序集合、哈希表等。

Redis 支持数据的持久化，可以将内存中的数据保存在硬盘中，重启的时候可以再次加载进行使用。

Redis 不仅提供了 Python，Ruby，Erlang 等操作接口，而且支持客户端分片和复制，这使得 Redis 能够为较大的应用提供服务。

Redis 的主要优势在于其速度和易用性，它是高性能应用的理想选择。

分布式系统是由一组计算机组成，这些计算机在网络中相互连接，它们共享资源，并且根据某种策略协同工作。

分布式系统的主要优点包括：

可靠性：一个组件的失败不会使整个系统停止服务。
可扩展性：可以通过添加更多的资源来扩展系统。
资源共享：系统中的所有节点都可以使用共享资源。
性能：系统可以利用更多的资源提高性能。
经济：通过多服务器分散负载，可以节省成本。

以下是一个简单的 Python 示例，演示如何使用 redis-py 客户端与 Redis 进行交互：




import redis
 
# 连接到 Redis
r = redis.Redis(host='localhost', port=6379, db=0)
 
# 设置键值对
r.set('foo', 'bar')
 
# 获取键的值
print(r.get('foo'))

在这个例子中，我们首先导入了 redis 模块，然后创建了一个 Redis 对象来连接到运行在本地的 Redis 服务器。然后我们使用 set 方法来设置一个键值对，使用 get 方法来获取一个键的值。

注意：在运行这个例子之前，你需要确保 Redis 服务器正在运行，并且 Python 环境中已经安装了 redis 模块，可以通过 pip install redis 命令来安装。

PostgreSQL的PgStat进程

2024-09-05

PgStat是PostgreSQL中负责收集和维护系统统计信息的后台进程。PgStat进程会定期将统计数据写入本地的pg\_stat文件夹中的文件里，以便于进行性能分析和数据库运行状态监控。

如果你想要查看PgStat进程的状态，可以使用以下SQL查询：




SELECT * FROM pg_stat_activity;

这个查询会返回当前数据库中所有活跃进程的详细信息，包括PgStat进程。

如果PgStat进程出现问题，可能会导致统计数据不准确或者无法正常工作。解决这类问题通常需要检查PostgreSQL的日志文件，查找相关的错误信息。常见的问题和解决方法包括：

确认pg_stat_statements模块已经被加载并且正确配置。
检查磁盘空间是否充足，确保PgStat可以正常写入数据。
检查文件权限，确保PgStat进程有权限写入统计信息文件。
检查PostgreSQL的配置文件postgresql.conf和pg_hba.conf，确保相关配置正确。
如果PgStat进程异常退出，尝试重启数据库服务。

如果你需要更详细的帮助，请提供具体的错误信息或者日志内容，以便进行更准确的诊断和解决方案。

如何在Linux上部署Django Web应用

2024-09-05

在Linux上部署Django Web应用，你可以遵循以下步骤：

安装Python和pip（如果尚未安装）。
创建Django项目。
安装项目依赖。
配置数据库（例如PostgreSQL）。
收集静态文件（可选）。
配置Web服务器（例如Gunicorn）。
配置Nginx作为反向代理。
设置Supervisor以管理Gunicorn进程。
配置Django的ALLOWED_HOSTS。
启动服务并测试。

以下是具体命令和配置示例：




# 安装Python和pip
sudo apt-get update
sudo apt-get install python3 python3-pip
 
# 创建Django项目
django-admin startproject myproject
 
# 安装项目依赖
cd myproject
pip3 install -r requirements.txt
 
# 配置数据库（以PostgreSQL为例）
sudo -u postgres createuser --interactive
sudo -u postgres createdb myproject_db
 
# 收集静态文件
python3 manage.py collectstatic
 
# 安装Gunicorn
pip3 install gunicorn
 
# 配置Gunicorn（可选）
echo "[program:myproject]
command=/usr/bin/gunicorn --bind unix:/var/www/myproject/myproject.sock myproject.wsgi:application
directory=/var/www/myproject
user=www-data
stdout_logfile=/var/log/gunicorn/myproject.log
stderr_logfile=/var/log/gunicorn/myproject.log
autostart=true
autorestart=true
stopasgroup=true
killasgroup=true
redirect_stderr=true
" | sudo tee /etc/supervisor/conf.d/myproject.conf
 
# 安装Nginx
sudo apt-get install nginx
 
# 配置Nginx
echo "
upstream django {
    server unix:/var/www/myproject/myproject.sock;
}
 
server {
    listen 80;
    server_name example.com;
 
    location /static/ {
        alias /var/www/myproject/static/;
    }
 
    location / {
        proxy_pass http://django;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
" | sudo tee /etc/nginx/sites-available/myproject
sudo ln -s /etc/nginx/sites-available/myproject /etc/nginx/sites-enabled/
 
# 重新加载Nginx配置
sudo systemctl reload nginx
 
# 更新Django的ALLOWED_HOSTS
echo "ALLOWED_HOSTS = ['example.com']" >> myproject/settings.py
 
# 启动Supervisor
sudo systemctl restart supervisor
 
# 测试服务
curl http://example.com

确保替换example.com和项目名称myproject为你自己的域名和项目名称，并根据你的服务器配置调整用户和目录。

以上步骤和配置是基本的部署流程，根据你的具体需求，可能需要额外的步骤，例如配置SSL、设置权限、调整资源限制等。

2024-09-05

一键安装脚本示例：




#!/bin/bash
# 安装Oracle 11gR2数据库的脚本
 
# 定义数据库软件包和补丁的下载地址
ORACLE_DOWNLOAD_URL="http://download.oracle.com/otn_software/linux/oracle11g/R2"
ORACLE_PACKAGE="oracle-11gr2.tar.gz"
PATCH_PACKAGE="p6880880_112010_Linux-x86-64.zip"
 
# 定义Oracle数据库的安装路径和配置参数
ORACLE_BASE="/opt/oracle"
ORACLE_HOME="${ORACLE_BASE}/product/11.2.0/db_1"
ORACLE_INVENTORY="${ORACLE_BASE}/oraInventory"
 
# 更新系统并安装必要的软件包
yum update -y
yum install -y binutils compat-libstdc++-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc-common glibc-devel glibc-headers ksh libaio libaio-devel libgcc libstdc++ libstdc++-devel libXi libXtst make sysstat
 
# 创建Oracle用户和组
groupadd oinstall
groupadd dba
useradd -g oinstall -G dba -m oracle
passwd oracle
 
# 创建安装目录并设置权限
mkdir -p ${ORACLE_BASE}
chown -R oracle:oinstall ${ORACLE_BASE}
chmod -R 775 ${ORACLE_BASE}
 
# 下载Oracle数据库软件包和补丁包
cd /tmp
wget ${ORACLE_DOWNLOAD_URL}/${ORACLE_PACKAGE}
wget ${ORACLE_DOWNLOAD_URL}/${PATCH_PACKAGE}
 
# 解压软件包和应用补丁
tar -xzf ${ORACLE_PACKAGE}
unzip ${PATCH_PACKAGE}
 
# 切换到oracle用户并配置环境变量
su - oracle
cat >> ~/.bash_profile <<EOF
export ORACLE_BASE=${ORACLE_BASE}
export ORACLE_HOME=\${ORACLE_BASE}/product/11.2.0/db_1
export ORACLE_SID=ORCL
export PATH=\${PATH}:\${ORACLE_HOME}/bin
EOF
 
# 应用环境变量更改
source ~/.bash_profile
 
# 配置内核参数，将以下内容添加到/etc/sysctl.conf文件
cat >> /etc/sysctl.conf <<EOF
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 2147483648
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144
EOF
 
# 使内核参数更改立即生效
sysctl -p
 
# 创建Oracle Inventory目录并设置权限
mkdir -p ${ORACLE_INVENTORY}
chown -R oracle:oinstall ${ORACLE_INVENTORY}
chmod -R 775 ${ORACLE_INVENTORY}
 
# 设置Oracle安装权限
chown -R oracle:oinstall /tmp/database
chmod -R 775 /tmp/database
 
# 配置DISPLAY

【Oracle】玩转Oracle数据库：PL/SQL编程

2024-09-05




-- 创建包
CREATE OR REPLACE PACKAGE my_package IS
  -- 声明变量
  g_val INTEGER := 0;
 
  -- 声明过程
  PROCEDURE set_val(p_val IN INTEGER);
  PROCEDURE print_val;
 
  -- 声明函数
  FUNCTION add_to_val(p_inc IN INTEGER) RETURN INTEGER;
END my_package;
/
 
-- 包体实现
CREATE OR REPLACE PACKAGE BODY my_package IS
  -- 过程实现
  PROCEDURE set_val(p_val IN INTEGER) IS
  BEGIN
    g_val := p_val;
  END;
 
  PROCEDURE print_val IS
  BEGIN
    DBMS_OUTPUT.PUT_LINE('当前值：' || g_val);
  END;
 
  -- 函数实现
  FUNCTION add_to_val(p_inc IN INTEGER) RETURN INTEGER IS
  BEGIN
    g_val := g_val + p_inc;
    RETURN g_val;
  END;
END my_package;
/
 
-- 使用示例
BEGIN
  my_package.set_val(10);
  my_package.print_val;
 
  DBMS_OUTPUT.PUT_LINE('增加后的值：' || my_package.add_to_val(5));
END;
/

这个代码示例展示了如何在Oracle数据库中创建一个包含变量、过程和函数的包，并在包体中对它们进行声明和实现。同时，展示了如何使用这个包中的过程和函数。这对于学习和理解PL/SQL编程是很有帮助的。

pg数据库简单操作

2024-09-05

在PostgreSQL中，你可以使用SQL语句来进行数据库的简单操作，例如创建数据库、创建表格、插入数据、查询数据等。以下是一些基本操作的示例代码：

创建数据库：




CREATE DATABASE mydatabase;

创建表格：




CREATE TABLE mytable (
    id SERIAL PRIMARY KEY,
    name VARCHAR(100),
    age INT
);

插入数据：




INSERT INTO mytable (name, age) VALUES ('Alice', 30);

查询数据：




SELECT * FROM mytable;

更新数据：




UPDATE mytable SET age = 31 WHERE name = 'Alice';

删除数据：




DELETE FROM mytable WHERE name = 'Alice';

删除表格：




DROP TABLE mytable;

删除数据库：




DROP DATABASE mydatabase;

确保在执行这些操作之前，你已经连接到了正确的PostgreSQL数据库服务器，并且拥有相应的权限。

2024-09-05

所有,redis

由于原代码中存在的问题较多，以下是一个简化版的示例，展示如何在CentOS 7上使用Docker部署Redis集群，以及如何使用Docker打包Spring Boot微服务。




# 安装Docker
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce
sudo systemctl start docker && sudo systemctl enable docker
 
# 部署Redis集群
# 创建Redis配置文件目录
mkdir -p /etc/redis
 
# 创建Redis集群配置文件
for port in `seq 7000 7005`; do
cat << EOF > /etc/redis/${port}.conf
port ${port}
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
appendfilename "appendonly.aof"
dbfilename dump.rdb
dir /data
EOF
done
 
# 创建并启动Redis容器
for port in `seq 7000 7005`; do
docker run -d --name redis-${port} \
  -v /etc/redis/${port}.conf:/usr/local/etc/redis/redis.conf \
  -v /var/redis/${port}:/data \
  -p ${port}:${port} \
  redis redis-server /usr/local/etc/redis/redis.conf
done
 
# 使用Redis Cluster命令创建集群
docker run -it --rm --net=host redis redis-cli --cluster create \
   $(for port in `seq 7000 7005`; do echo -n "127.0.0.1:${port} "; done) \
   --cluster-replicas 1
 
# 打包Spring Boot微服务
# 假设你的Spring Boot项目名为myapp
cd /path/to/myapp
./mvnw clean package -Dmaven.test.skip=true
 
# 创建Dockerfile
echo "FROM openjdk:8-jdk-alpine
ADD target/myapp.jar /app.jar
CMD ["java", "-jar", "/app.jar"]
EXPOSE 8080" > Dockerfile
 
# 构建Docker镜像
docker build -t myapp .
 
# 运行微服务容器
docker run -d -p 8080:8080 --name myapp-instance myapp

这个示例展示了如何简洁地使用Docker命令在CentOS 7上部署Redis集群和打包Spring Boot微服务。注意，这里的Redis Cluster创建命令需要根据实际的IP地址和端口进行调整。

2024-09-05

Oracle RAC 11g升级到12c通常涉及以下步骤：

检查兼容性：确保所有硬件和软件平台满足12c的最低要求。
备份数据库：在升级之前，始终备份数据库。
检查已知的升级问题和限制：参考Oracle文档了解可能遇到的问题。
执行升级前的准备工作：
- 创建软件安装目录
- 配置用户环境变量
- 配置网络设置
- 设置Oracle用户权限
- 验证grid infrastructure的配置
升级Oracle软件：
- 使用oracle用户登录到每个节点
- 停止所有Oracle服务
- 运行$ORACLE_HOME/deinstall/deinstall以卸载11g Oracle软件
- 解压12c软件包并安装
- 运行$ORACLE_HOME/install/runInstaller启动图形化安装程序
- 根据提示完成安装
升级Grid Infrastructure：
- 运行$GRID_HOME/deinstall/deinstall以卸载11g GI软件
- 解压12c GI软件包并安装
- 运行$GRID_HOME/install/runInstaller启动图形化安装程序
- 根据提示完成安装
升级数据库：
- 使用srvctl停止所有数据库服务
- 运行dbupgd以升级数据库
- 根据提示完成升级过程
验证升级并测试数据库功能。

注意：实际升级步骤可能会根据你的系统配置和环境有所不同。始终建议在升级前备份所有关键数据，并在测试环境中验证升级步骤。

2024-09-05

所有,java




import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.security.config.annotation.web.builders.HttpSecurity;
import org.springframework.security.config.annotation.web.configuration.EnableWebSecurity;
import org.springframework.security.config.annotation.web.configuration.WebSecurityConfigurerAdapter;
import org.springframework.security.config.http.SessionCreationPolicy;
import org.springframework.security.web.authentication.UsernamePasswordAuthenticationFilter;
import com.example.security.jwt.JwtAuthenticationFilter;
 
@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
 
    @Bean
    public JwtAuthenticationFilter jwtAuthenticationFilter() {
        return new JwtAuthenticationFilter();
    }
 
    @Override
    protected void configure(HttpSecurity http) throws Exception {
        http
            // 禁用 CSRF
            .csrf().disable()
            // 不通过Session进行认证
            .sessionManagement().sessionCreationPolicy(SessionCreationPolicy.STATELESS)
            .and()
            // 对于所有请求都需要认证
            .authorizeRequests().anyRequest().authenticated()
            .and()
            // 添加自定义的JWT认证过滤器
            .addFilterBefore(jwtAuthenticationFilter(), UsernamePasswordAuthenticationFilter.class);
    }
}

这段代码演示了如何在Spring Security中整合JWT（Json Web Token）认证机制。首先，我们定义了一个JwtAuthenticationFilter的Bean，然后在configure(HttpSecurity http)方法中，我们禁用了CSRF保护，设置了会话管理策略为无状态（STATELESS），对所有请求都需要认证，并且添加了自定义的JWT认证过滤器，将其置于Spring Security默认的UsernamePasswordAuthenticationFilter之前。这样，我们就可以在Spring Security的框架下，使用JWT来保护我们的Web应用了。