2024-08-16



# 更新系统
sudo apt-update
sudo apt-upgrade
 
# 安装依赖
sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev python-openssl git
 
# 下载Python源码
wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tar.xz
 
# 解压源码
tar -xvf Python-3.7.0.tar.xz
 
# 编译安装Python
cd Python-3.7.0
./configure --enable-optimizations
make -j 8  # 根据CPU核心数调整 -j 参数
sudo make altinstall  # 使用 altinstall 避免替换系统默认的python版本
 
# 清理文件和环境变量
cd ..
rm Python-3.7.0.tar.xz
rm -rf Python-3.7.0
 
# 验证Python安装
python3.7 --version

这段代码展示了如何在Ubuntu 24.04上从源码编译并安装Python 3.7版本,并避免替换系统默认的Python版本。通过make -j 8命令可以利用多核心处理能力加快编译过程,--enable-optimizations选项启用编译优化。使用altinstall避免覆盖系统默认的Python链接,这样可以同时安装和使用多个Python版本。

2024-08-16

在Ubuntu 22.04上安装Python的多个版本,可以使用pyenv。以下是安装和使用pyenv来管理多个Python版本的步骤:

  1. 安装必要的依赖:



sudo apt update
sudo apt install -y make build-essential libssl-dev zlib1g-dev libbz2-dev \
libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \
xz-utils tk-dev libffi-dev liblzma-dev python-openssl git
  1. 安装pyenv



curl https://pyenv.run | bash
  1. pyenv初始化脚本添加到您的shell启动文件。如果您使用的是bash或zsh,可以将以下内容添加到~/.bashrc~/.zshrc



export PATH="$HOME/.pyenv/bin:$PATH"
eval "$(pyenv init --path)"
eval "$(pyenv init -)"

然后,重新加载shell配置:




exec "$SHELL"
  1. 安装Python版本:



pyenv install 3.6.15
pyenv install 3.7.12
pyenv install 3.8.12
pyenv install 3.9.12
pyenv install 3.10.0
  1. 列出已安装的Python版本以确认安装:



pyenv versions
  1. 设置全局Python版本,或者为特定项目设置本地版本。例如,设置全局Python版本为3.9.12:



pyenv global 3.9.12

或者为一个特定项目设置本地版本:




cd your-project-directory
pyenv local 3.10.0

这样,你就可以在Ubuntu 22.04上安装和管理多个Python版本了。

2024-08-16

在Ubuntu上创建Python虚拟环境的步骤如下:

  1. 安装虚拟环境管理工具 virtualenv



sudo apt-get install python3-virtualenv
  1. 创建一个新的虚拟环境:



virtualenv my_virtualenv

其中 my_virtualenv 是你想要创建的虚拟环境的名字。

  1. 激活虚拟环境:



source my_virtualenv/bin/activate

激活虚拟环境后,你会看到终端提示符变了,表示虚拟环境已经激活。

  1. 安装Python包(如果需要):



pip install package_name
  1. 当完成工作,退出虚拟环境:



deactivate

以上步骤会在Ubuntu系统上创建一个名为 my_virtualenv 的Python虚拟环境,并且可以在其中安装和运行Python包。

2024-08-16

以下是一个简化的Dockerfile,用于创建一个基于Ubuntu的Hadoop环境:




# 使用Ubuntu官方镜像作为基础镜像
FROM ubuntu:20.04
 
# 安装OpenJDK 8
RUN apt-get update && \
    apt-get install -y openjdk-8-jdk && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
 
# 设置环境变量
ENV JAVA_HOME /usr/lib/jvm/java-1.8.0-openjdk-amd64
ENV PATH $PATH:$JAVA_HOME/bin
 
# 安装Hadoop
RUN apt-get update && \
    apt-get install -y wget && \
    wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz && \
    tar -xzf hadoop-3.2.2.tar.gz && \
    mv hadoop-3.2.2 /usr/local/hadoop && \
    rm hadoop-3.2.2.tar.gz && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
 
# 配置Hadoop环境变量
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
# 配置Hadoop,设置SSH,并复制配置文件
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 0600 ~/.ssh/authorized_keys && \
    echo "127.0.0.1 $(hostname)" >> /etc/hosts
 
COPY hadoop-env.sh /usr/local/hadoop/etc/hadoop/hadoop-env.sh
COPY core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml
COPY hdfs-site.xml /usr/local/hadoop/etc/hadoop/hdfs-site.xml
COPY mapred-site.xml /usr/local/hadoop/etc/hadoop/mapred-site.xml
COPY yarn-site.xml /usr/local/hadoop/etc/hadoop/yarn-site.xml
 
# 格式化HDFS,启动YARN
RUN /usr/local/hadoop/bin/hdfs namenode -format && \
    /usr/local/hadoop/sbin/start-dfs.sh && \
    /usr/local/hadoop/sbin/start-yarn.sh
 
# 暴露Hadoop相关端口
EXPOSE 50070 8020 8088 19888
 
# 容器启动时运行Hadoop
CMD ["/usr/local/hadoop/sbin/start-all.sh"]

这个Dockerfile演示了如何在Ubuntu环境中安装OpenJDK 8,并安装Hadoop。它还包括了配置SSH和Hadoop环境的步骤,并且展示了如何将Hadoop配置文件复制到容器中。最后,它暴露了Hadoop所需的端口,并在容器启动时运行Hadoop。这个示例为学习者提供了一个简明的Hadoop分布式环境配置参考。

2024-08-16

在Ubuntu上安装Hadoop完全分布式集群的步骤如下:

  1. 配置虚拟机:

    • 设置静态IP地址。
    • 配置主机名(通过/etc/hostname/etc/hosts)。
    • 关闭防火墙和安全策略。
    • 配置SSH免密登录(每个节点生成密钥并配置认证)。
  2. 安装Java JDK:

    
    
    
    sudo apt update
    sudo apt install openjdk-8-jdk
  3. 下载并解压Hadoop:

    
    
    
    wget https://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/hadoop-3.2.2.tar.gz
    sudo tar -xzf hadoop-3.2.2.tar.gz -C /usr/local
    sudo mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop
    sudo chown -R hadoop:hadoop /usr/local/hadoop
  4. 配置环境变量:

    
    
    
    echo 'export HADOOP_HOME=/usr/local/hadoop' | sudo tee -a /etc/profile
    echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' | sudo tee -a /etc/profile
    source /etc/profile
  5. 配置Hadoop(修改/usr/local/hadoop/etc/hadoop目录下的文件):

    • hadoop-env.sh:设置JAVA_HOME
    • core-site.xml:配置HDFS的NameNode。
    • hdfs-site.xml:配置DataNode存储路径和副本数量。
    • mapred-site.xml(如果存在,对于MapReduce)。
    • yarn-site.xml:配置YARN资源管理器和节点管理器。
    • workers:列出所有DataNode主机。
  6. 格式化NameNode:

    
    
    
    hdfs namenode -format
  7. 启动Hadoop守护进程:

    
    
    
    sudo /usr/local/hadoop/sbin/start-all.sh
  8. 检查Hadoop服务:

    • 使用jps命令在各节点上检查运行的Java进程。
    • 浏览器访问NameNode和ResourceManager的Web界面,默认端口是50070和8088。

注意:确保所有节点上的配置一致,并且防火墙和安全策略允许相应的端口通信。

2024-08-16

在Ubuntu系统下安装Python 3.12,你可以使用下面的步骤:

  1. 首先,打开终端。
  2. 安装依赖项:

    
    
    
    sudo apt update
    sudo apt install -y software-properties-common
  3. 添加deadsnakes PPA到你的系统:

    
    
    
    sudo add-apt-repository ppa:deadsnakes/ppa
  4. 再次更新软件包列表:

    
    
    
    sudo apt update
  5. 安装Python 3.12:

    
    
    
    sudo apt install -y python3.12

安装完成后,你可以通过运行 python3.12 --version 来验证Python 3.12是否正确安装。

接下来,安装分布式LLM推理库exo:

  1. 使用pip安装exo:

    
    
    
    pip install exo

如果你遇到任何与权限相关的问题,请使用 sudo 运行上述命令。

在调试过程中,如果你需要运行自己的AI集群,你需要按照exo的文档进行相应的配置和部署。由于这涉及到集群管理和分布式AI推理的复杂细节,需要详细查看exo的官方文档和指南。

2024-08-16



#!/bin/bash
# 编译安装MariaDB并进行初始化配置的脚本
 
# 定义源码目录和安装目录
SOURCE_DIR="/path/to/mariadb-source"
INSTALL_DIR="/usr/local"
 
# 安装依赖
sudo apt-get update
sudo apt-get install -y cmake ncurses-dev
 
# 编译MariaDB
cd "${SOURCE_DIR}"
cmake . \
  -DCMAKE_INSTALL_PREFIX="${INSTALL_DIR}/mariadb" \
  -DMYSQL_DATADIR="/var/lib/mysql" \
  -DWITHOUT_TOKUDB=1 \
  -DWITH_INNOBASE_STORAGE_ENGINE=1 \
  -DWITH_PARTITION_STORAGE_ENGINE=1 \
  -DWITH_FEDERATED_STORAGE_ENGINE=1 \
  -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
  -DENABLED_LOCAL_INFILE=1 \
  -DENABLE_DTRACE=0 \
  -DDEFAULT_CHARSET=utf8 \
  -DDEFAULT_COLLATION=utf8_general_ci
make
sudo make install
 
# 创建必要的目录
sudo mkdir -p /var/lib/mysql
sudo chown -R mysql:mysql /var/lib/mysql
 
# 初始化数据库
sudo "${INSTALL_DIR}/mariadb/scripts/mysql_install_db" \
  --basedir="${INSTALL_DIR}/mariadb" \
  --datadir="/var/lib/mysql" \
  --user=mysql
 
# 启动MariaDB服务
sudo "${INSTALL_DIR}/mariadb/bin/mysqld_safe" &

这段代码提供了一个简化版本的安装和初始化MariaDB的例子。它首先安装了必要的依赖,然后编译和安装了MariaDB。接着,它创建了必要的目录并初始化了数据库。最后,它启动了MariaDB服务。这个脚本可以作为开发者学习如何从源代码编译和安装数据库的一个示例。

2024-08-16

为了在基于Armbian OS (Ubuntu 24) 的系统上从源代码编译MySQL 5.7,请按照以下步骤操作:

  1. 安装编译依赖项:



sudo apt-update
sudo apt-get install build-essential cmake ncurses-dev bison libicu-dev libssl-dev
  1. 下载MySQL 5.7源代码:



wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.xx.tar.gz
tar -zxvf mysql-5.7.xx.tar.gz
cd mysql-5.7.xx

xx替换为正确的版本号。

  1. 配置编译选项:



cmake . -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost

如果系统中没有Boost库,则CMake会尝试下载。

  1. 编译和安装:



make
sudo make install
  1. 配置MySQL服务:



sudo cp support-files/mysql.server /etc/init.d/mysql
sudo chown root:root /etc/init.d/mysql
sudo update-rc.d mysql defaults
  1. 初始化数据库和设置权限:



sudo mysqld --initialize --user=mysql
sudo service mysql start
sudo mysql_secure_installation

请注意,替换xx为实际的MySQL版本号,并确保所有的编译依赖项都已经安装。这些步骤是在一个基本的Armbian系统上编译MySQL 5.7的指南,具体的路径和依赖可能会根据Armbian发行版的不同而有所变化。

2024-08-16

在Ubuntu 22.04上配置Go环境,你可以按照以下步骤操作:

  1. 下载Go语言二进制包。
  2. 解压缩到/usr/local目录。
  3. 设置环境变量。

打开终端,依次执行以下命令:




# 下载Go语言二进制包
wget https://go.dev/dl/go1.18.3.linux-amd64.tar.gz
 
# 解压缩到/usr/local目录
sudo tar -C /usr/local -xzf go1.18.3.linux-amd64.tar.gz
 
# 设置环境变量
echo "export PATH=\$PATH:/usr/local/go/bin" >> ~/.profile
echo "export GOPATH=\$HOME/go" >> ~/.profile
source ~/.profile

确保替换上述命令中的Go版本号为你想要安装的最新版本。

这些命令做了以下几件事:

  • 下载Go语言二进制包。
  • 将下载的包解压到/usr/local目录,这是Go程序的默认安装位置。
  • 更新PATH环境变量,以便可以全局运行go命令。
  • 设置GOPATH环境变量,这是你的工作目录,用于存放Go项目和代码。
  • 使用source ~/.profile使更改立即生效。

完成这些步骤后,你可以通过运行go version来验证Go是否正确安装。

2024-08-16

在Ubuntu 22.04.4上搭建Hyperledger Fabric 2.5并运行示例,需要安装Go、Java Development Kit (JDK),以及Docker和Docker Compose。以下是安装步骤的示例代码:




# 更新软件包列表
sudo apt update
 
# 安装Go语言环境
sudo apt install golang-go
 
# 设置Go代理(如果需要)
export GOPROXY=https://goproxy.io
 
# 安装Java Development Kit
sudo apt install default-jdk
 
# 确认JDK安装并获取安装路径
java -version
 
# 安装Docker
sudo apt install docker.io
 
# 添加用户到docker组以无需sudo运行docker命令
sudo usermod -aG docker ${USER}
 
# 安装Docker Compose
sudo apt install docker-compose
 
# 验证Docker和Docker Compose安装
docker --version
docker-compose --version
 
# 下载Hyperledger Fabric二进制文件和示例代码
curl -sSL https://raw.githubusercontent.com/hyperledger/fabric/master/scripts/install_binaries.sh | bash -s -- 2.5.0 1.18.0
 
# 验证安装
cd ~/fabric-samples
./bin/configtxgen --version

以上命令将安装Go、JDK、Docker和Docker Compose,并下载Hyperledger Fabric 2.5的二进制文件和示例代码。在验证安装后,你可以按照Hyperledger Fabric文档运行示例,例如运行First Network:




# 进入示例目录
cd ~/fabric-samples/first-network
 
# 启动示例网络
./byfn.sh -m generate
./byfn.sh -m up
 
# 当完成后,可以使用以下命令停止网络
./byfn.sh -m down

请确保在执行这些命令之前,你已经有了足够的权限(例如使用sudo),并且网络连接稳定,以避免在安装过程中出现问题。