标签 ubuntu 下的文章

2024-08-16

以下是一个简化的Dockerfile，用于创建一个基于Ubuntu的Hadoop环境：




# 使用Ubuntu官方镜像作为基础镜像
FROM ubuntu:20.04
 
# 安装OpenJDK 8
RUN apt-get update && \
    apt-get install -y openjdk-8-jdk && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
 
# 设置环境变量
ENV JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-amd64
ENV PATH $PATH:$JAVA_HOME/bin
 
# 安装Hadoop
RUN apt-get update && \
    apt-get install -y wget && \
    wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz && \
    tar -xzf hadoop-3.2.2.tar.gz && \
    mv hadoop-3.2.2 /usr/local/hadoop && \
    rm hadoop-3.2.2.tar.gz && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
 
# 配置Hadoop环境变量
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
# 配置Hadoop，设置SSH，并复制配置文件
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 0600 ~/.ssh/authorized_keys && \
    echo "127.0.0.1 $(hostname)" >> /etc/hosts
 
COPY hadoop-env.sh /usr/local/hadoop/etc/hadoop/hadoop-env.sh
COPY core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml
COPY hdfs-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml
COPY mapred-site.xml /usr/local/hadoop/etc/hadoop/mapred-site.xml
COPY yarn-site.xml /usr/local/hadoop/etc/hadoop/yarn-site.xml
 
# 格式化HDFS，启动YARN
RUN /usr/local/hadoop/bin/hdfs namenode -format && \
    /usr/local/hadoop/sbin/start-dfs.sh && \
    /usr/local/hadoop/sbin/start-yarn.sh
 
# 暴露Hadoop相关端口
EXPOSE 50070 8020 8088 19888
 
# 容器启动时运行Hadoop
CMD ["/usr/local/hadoop/sbin/start-all.sh"]

这个Dockerfile演示了如何在Ubuntu环境中安装OpenJDK 8，并安装Hadoop。它还包括了配置SSH和Hadoop环境的步骤，并且展示了如何将Hadoop配置文件复制到容器中。最后，它暴露了Hadoop所需的端口，并在容器启动时运行Hadoop。这个示例为学习者提供了一个简明的Hadoop分布式环境配置参考。

- 阅读更多 -

在ubuntu上安装hadoop完分布式

System

2024-08-16

所有,分布式

在Ubuntu上安装Hadoop完全分布式集群的步骤如下：

配置虚拟机：
- 设置静态IP地址。
- 配置主机名（通过/etc/hostname和/etc/hosts）。
- 关闭防火墙和安全策略。
- 配置SSH免密登录（每个节点生成密钥并配置认证）。

安装Java JDK：




sudo apt update
sudo apt install openjdk-8-jdk

下载并解压Hadoop：




wget https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
sudo tar -xzf hadoop-3.2.2.tar.gz -C /usr/local
sudo mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop

配置环境变量：




echo 'export HADOOP_HOME=/usr/local/hadoop' | sudo tee -a /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile
source /etc/profile

配置Hadoop（修改/usr/local/hadoop/etc/hadoop目录下的文件）：
- hadoop-env.sh：设置JAVA_HOME。
- core-site.xml：配置HDFS的NameNode。
- hdfs-site.xml：配置DataNode存储路径和副本数量。
- mapred-site.xml（如果存在，对于MapReduce）。
- yarn-site.xml：配置YARN资源管理器和节点管理器。
- workers：列出所有DataNode主机。
格式化NameNode：
```
hdfs namenode -format
```

启动Hadoop守护进程：




sudo /usr/local/hadoop/sbin/start-all.sh

检查Hadoop服务：
- 使用jps命令在各节点上检查运行的Java进程。
- 浏览器访问NameNode和ResourceManager的Web界面，默认端口是50070和8088。

注意：确保所有节点上的配置一致，并且防火墙和安全策略允许相应的端口通信。

System

2024-08-16

所有,分布式

在Ubuntu系统下安装Python 3.12，你可以使用下面的步骤：

首先，打开终端。

安装依赖项：




sudo apt update
sudo apt install -y software-properties-common

添加deadsnakes PPA到你的系统：




sudo add-apt-repository ppa:deadsnakes/ppa

再次更新软件包列表：
```
sudo apt update
```
安装Python 3.12：
```
sudo apt install -y python3.12
```

安装完成后，你可以通过运行 python3.12 --version 来验证Python 3.12是否正确安装。

接下来，安装分布式LLM推理库exo：

使用pip安装exo：
```
pip install exo
```

如果你遇到任何与权限相关的问题，请使用 sudo 运行上述命令。

在调试过程中，如果你需要运行自己的AI集群，你需要按照exo的文档进行相应的配置和部署。由于这涉及到集群管理和分布式AI推理的复杂细节，需要详细查看exo的官方文档和指南。

- 阅读更多 -

Ubuntu编译安装MariaDB/MySQL并进行初始化配置

System

2024-08-16

所有,mysql




#!/bin/bash
# 编译安装MariaDB并进行初始化配置的脚本
 
# 定义源码目录和安装目录
SOURCE_DIR="/path/to/mariadb-source"
INSTALL_DIR="/usr/local"
 
# 安装依赖
sudo apt-get update
sudo apt-get install -y cmake ncurses-dev
 
# 编译MariaDB
cd "${SOURCE_DIR}"
cmake . \
  -DCMAKE_INSTALL_PREFIX="${INSTALL_DIR}/mariadb" \
  -DMYSQL_DATADIR="/var/lib/mysql" \
  -DWITHOUT_TOKUDB=1 \
  -DWITH_INNOBASE_STORAGE_ENGINE=1 \
  -DWITH_PARTITION_STORAGE_ENGINE=1 \
  -DWITH_FEDERATED_STORAGE_ENGINE=1 \
  -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
  -DENABLED_LOCAL_INFILE=1 \
  -DENABLE_DTRACE=0 \
  -DDEFAULT_CHARSET=utf8 \
  -DDEFAULT_COLLATION=utf8_general_ci
make
sudo make install
 
# 创建必要的目录
sudo mkdir -p /var/lib/mysql
sudo chown -R mysql:mysql /var/lib/mysql
 
# 初始化数据库
sudo "${INSTALL_DIR}/mariadb/scripts/mysql_install_db" \
  --basedir="${INSTALL_DIR}/mariadb" \
  --datadir="/var/lib/mysql" \
  --user=mysql
 
# 启动MariaDB服务
sudo "${INSTALL_DIR}/mariadb/bin/mysqld_safe" &

这段代码提供了一个简化版本的安装和初始化MariaDB的例子。它首先安装了必要的依赖，然后编译和安装了MariaDB。接着，它创建了必要的目录并初始化了数据库。最后，它启动了MariaDB服务。这个脚本可以作为开发者学习如何从源代码编译和安装数据库的一个示例。

- 阅读更多 -

Armbian OS（基于ubuntu24）源码编译mysql 5.7

System

2024-08-16

所有,mysql

为了在基于Armbian OS (Ubuntu 24) 的系统上从源代码编译MySQL 5.7，请按照以下步骤操作：

安装编译依赖项：




sudo apt-update
sudo apt-get install build-essential cmake ncurses-dev bison libicu-dev libssl-dev

下载MySQL 5.7源代码：




wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.xx.tar.gz
tar -zxvf mysql-5.7.xx.tar.gz
cd mysql-5.7.xx

将xx替换为正确的版本号。

配置编译选项：




cmake . -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost

如果系统中没有Boost库，则CMake会尝试下载。

编译和安装：




make
sudo make install

配置MySQL服务：




sudo cp support-files/mysql.server /etc/init.d/mysql
sudo chown root:root /etc/init.d/mysql
sudo update-rc.d mysql defaults

初始化数据库和设置权限：




sudo mysqld --initialize --user=mysql
sudo service mysql start
sudo mysql_secure_installation

请注意，替换xx为实际的MySQL版本号，并确保所有的编译依赖项都已经安装。这些步骤是在一个基本的Armbian系统上编译MySQL 5.7的指南，具体的路径和依赖可能会根据Armbian发行版的不同而有所变化。

- 阅读更多 -

Ubuntu22.04配置Go环境

System

2024-08-16

所有,golang

在Ubuntu 22.04上配置Go环境，你可以按照以下步骤操作：

下载Go语言二进制包。
解压缩到/usr/local目录。
设置环境变量。

打开终端，依次执行以下命令：




# 下载Go语言二进制包
wget https://go.dev/dl/go1.18.3.linux-amd64.tar.gz
 
# 解压缩到/usr/local目录
sudo tar -C /usr/local -xzf go1.18.3.linux-amd64.tar.gz
 
# 设置环境变量
echo "export PATH=\$PATH:/usr/local/go/bin" >> ~/.profile
echo "export GOPATH=\$HOME/go" >> ~/.profile
source ~/.profile

确保替换上述命令中的Go版本号为你想要安装的最新版本。

这些命令做了以下几件事：

下载Go语言二进制包。
将下载的包解压到/usr/local目录，这是Go程序的默认安装位置。
更新PATH环境变量，以便可以全局运行go命令。
设置GOPATH环境变量，这是你的工作目录，用于存放Go项目和代码。
使用source ~/.profile使更改立即生效。

完成这些步骤后，你可以通过运行go version来验证Go是否正确安装。

System

2024-08-16

所有,golang

在Ubuntu 22.04.4上搭建Hyperledger Fabric 2.5并运行示例，需要安装Go、Java Development Kit (JDK)，以及Docker和Docker Compose。以下是安装步骤的示例代码：




# 更新软件包列表
sudo apt update
 
# 安装Go语言环境
sudo apt install golang-go
 
# 设置Go代理（如果需要）
export GOPROXY=https://goproxy.io
 
# 安装Java Development Kit
sudo apt install default-jdk
 
# 确认JDK安装并获取安装路径
java -version
 
# 安装Docker
sudo apt install docker.io
 
# 添加用户到docker组以无需sudo运行docker命令
sudo usermod -aG docker ${USER}
 
# 安装Docker Compose
sudo apt install docker-compose
 
# 验证Docker和Docker Compose安装
docker --version
docker-compose --version
 
# 下载Hyperledger Fabric二进制文件和示例代码
curl -sSL https://raw.githubusercontent.com/hyperledger/fabric/master/scripts/install_binaries.sh | bash -s -- 2.5.0 1.18.0
 
# 验证安装
cd ~/fabric-samples
./bin/configtxgen --version

以上命令将安装Go、JDK、Docker和Docker Compose，并下载Hyperledger Fabric 2.5的二进制文件和示例代码。在验证安装后，你可以按照Hyperledger Fabric文档运行示例，例如运行First Network:




# 进入示例目录
cd ~/fabric-samples/first-network
 
# 启动示例网络
./byfn.sh -m generate
./byfn.sh -m up
 
# 当完成后，可以使用以下命令停止网络
./byfn.sh -m down

请确保在执行这些命令之前，你已经有了足够的权限（例如使用sudo），并且网络连接稳定，以避免在安装过程中出现问题。

System

2024-08-16

所有,php




#!/bin/bash
 
# 更新软件包列表
sudo apt update
 
# 安装Nginx
sudo apt install -y nginx
 
# 安装MariaDB
sudo apt install -y mariadb-server
sudo mysql_secure_installation
 
# 安装PHP及常用扩展
sudo apt install -y php-fpm php-mysql php-common php-json php-xml php-zip php-gd php-curl
 
# 配置Nginx与PHP处理
sudo tee /etc/nginx/sites-available/default > /dev/null <<EOF
server {
    listen 80 default_server;
    listen [::]:80 default_server;
    
    root /var/www/html;
    index index.php index.html index.htm index.nginx-debian.html;
 
    server_name _;
 
    location / {
        try_files \$uri \$uri/ =404;
    }
 
    location ~ \.php$ {
        include snippets/fastcgi-php.conf;
        fastcgi_pass unix:/var/run/php/php7.4-fpm.sock;
        fastcgi_param SCRIPT_FILENAME \$document_root\$fastcgi_script_name;
        include fastcgi_params;
    }
}
EOF
 
# 启动Nginx和PHP-FPM服务
sudo systemctl start nginx
sudo systemctl start php7.4-fpm
sudo systemctl enable nginx
sudo systemctl enable php7.4-fpm
 
# 创建一个简单的PHP测试页面
echo "<?php phpinfo(); ?>" | sudo tee /var/www/html/index.php
 
# 重启Nginx服务以应用配置
sudo systemctl restart nginx

这段代码实现了在Ubuntu 22.04上快速部署LEMP堆栈的自动化安装和配置。代码中包含了更新软件包列表、安装Nginx、MariaDB以及PHP及其常用扩展的步骤，并配置了Nginx以处理PHP请求。最后，它创建了一个简单的PHP信息页面以便测试配置是否正确。

System

2024-08-15

所有,mysql

在Ubuntu 20.04上配置Xshell远程连接、Boost库、muduo库、Json处理以及MySQL的环境配置步骤如下：

安装Xshell:
- 通常不通过Ubuntu直接使用Xshell，而是在Windows上安装。但如果你需要在Ubuntu上使用SSH客户端，可以使用ssh命令。

安装Boost库:

打开终端，输入以下命令安装Boost库:




sudo apt-get update
sudo apt-get install libboost-all-dev

安装muduo库:
- 如果muduo是一个开源项目，你可以从源代码编译安装。首先确保安装了必要的依赖:
```
sudo apt-get install build-essential
```
- 接着从源代码下载muduo，解压后编译安装:
```
git clone https://github.com/chenshuo/muduo.git
cd muduo
mkdir build && cd build
cmake ..
make
sudo make install
```

安装Json处理库:

可以选择安装一个如jsoncpp的库:
```
sudo apt-get install jsoncpp
```

或者从源代码编译安装:




git clone https://github.com/open-source-parsers/jsoncpp.git
cd jsoncpp
mkdir build && cd build
cmake ..
make
sudo make install

安装MySQL:

添加MySQL的APT仓库:




wget https://repo.mysql.com//mysql-apt-config_0.8.16-1_all.deb
sudo dpkg -i mysql-apt-config_0.8.16-1_all.deb

在出现的MySQL APT配置工具中选择MySQL版本和其他配置选项。

更新包列表并安装MySQL服务器:




sudo apt-get update
sudo apt-get install mysql-server

安装MySQL客户端库:




sudo apt-get install libmysqlclient-dev

请注意，上述步骤可能会随着时间和软件版本的更新而变化。在执行这些步骤之前，请确保检查最新的安装指南和依赖版本。

- 阅读更多 -

ubuntu 安装 MySql

System

2024-08-15

所有,mysql

在Ubuntu上安装MySQL可以通过以下步骤进行：

打开终端。
更新包列表：
```
sudo apt update
```
安装MySQL服务器：
```
sudo apt install mysql-server
```
安全设置（设置root密码，移除匿名用户，禁止root远程访问等）：
```
sudo mysql_secure_installation
```
（可选）如果需要，可以登录MySQL进行额外配置：
```
sudo mysql -u root -p
```

（可选）启动和停止MySQL服务：




sudo systemctl start mysql
sudo systemctl stop mysql

（可选）设置MySQL服务开机自启：
```
sudo systemctl enable mysql
```

以上步骤会在Ubuntu系统上安装MySQL服务器，并执行基本的安全设置。如果需要进一步配置MySQL，可以编辑 /etc/mysql/mysql.conf.d/mysqld.cnf 文件进行调整，或者通过MySQL客户端执行相关SQL命令。

- 阅读更多 -