分类 AIGC 下的文章

2024-09-04




# 使用AMD ROCm支持的Stable Diffusion环境
FROM rocm/dev-ubuntu:20.10
 
# 设置环境变量
ENV ROCM_VERSION 5.1.0
ENV ROCM_GPU_ENABLED 0
ENV PATH /opt/rocm/bin:/opt/rocm/profiler/bin:$PATH
ENV LD_LIBRARY_PATH /opt/rocm/lib:/opt/rocm/lib64
ENV PYTORCH_VERSION 1.11.0
ENV CUDA_VERSION 11.3.0
ENV CMAKE_VERSION 3.23.0
ENV NCCL_VERSION 2.13.7
ENV NVIDIA_REQUIRE_CUDA "cuda>=11.2"
 
# 安装ROCm工具和依赖
RUN apt-get update && apt-get install -y --no-install-recommends \
        g++ \
        git \
        libnuma-dev \
        libssl-dev \
        make \
        wget \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
 
# 下载并安装ROCm
RUN wget https://repo.radeon.com/rocm/rocm-${ROCM_VERSION}/rocm-${ROCM_VERSION}.tar.gz && \
    tar -xz --strip-components=1 -f rocm-${ROCM_VERSION}.tar.gz && \
    rm -f rocm-${ROCM_VERSION}.tar.gz && \
    ./install.sh --no-news && \
    echo 'export PATH=/opt/rocm/bin:/opt/rocm/profiler/bin:$PATH' >> ~/.bashrc && \
    echo 'export LD_LIBRARY_PATH=/opt/rocm/lib:/opt/rocm/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc && \
    source ~/.bashrc
 
# 安装Python和pip
RUN apt-get update && apt-get install -y --no-install-recommends \
        python3 \
        python3-pip \
    && apt-get clean \
    && rm -rf /var/lib/apt/lists/*
 
# 更新pip到最新版本
RUN pip3 install --upgrade pip
 
# 安装PyTorch
RUN pip3 install torch==$PYTORCH_VERSION+rocm$ROCM_VERSION -f https://download.pytorch.org/whl/rocm/$ROCM_VERSION/torch_stable.html
 
# 安装其他依赖
RUN pip3 install numpy cmake numba llvmlite torchvision torchaudio --extra-index-url https://rocm.pytorch.org
 
# 克隆Stable Diffus

- 阅读更多 -

autodl 上使用 LLaMA-Factory 微调中文版 llama3

System

2024-09-04

所有,AIGC

在AutoDL上使用LLaMA-Factory微调中文版LLama3的代码实例如下：




from llama_factory import LLaMA
from llama_factory import LLaMAConfig
from llama_factory import LLaMAModel
from llama_factory import LLaMATokenizer
 
# 配置中文LLaMA模型的参数
config = LLaMAConfig.from_pretrained("hfl/chinese-llama-7b")
config.use_cache = True
 
# 加载中文LLaMA模型
model = LLaMAModel.from_pretrained("hfl/chinese-llama-7b", config=config)
tokenizer = LLaMATokenizer.from_pretrained("hfl/chinese-llama-7b")
 
# 示例问题
question = "中国的首都是哪里？"
 
# 使用LLaMA进行问答
inputs = tokenizer.encode(question, return_tensors='pt')
outputs = model.generate(inputs)
 
# 显示结果
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

这段代码演示了如何加载预先训练好的中文LLaMA模型，并对一个中文问题进行回答。这里使用了hfl/chinese-llama-7b预训练模型，并通过model.generate()方法进行了自然语言生成，以回答用户的问题。

请注意，这只是一个代码示例，实际使用时可能需要处理输入问题、调整生成设置、处理模型的输出等。

System

2024-09-04

所有,AIGC

以下是在Ubuntu 22.04 LTS上安装NVIDIA驱动、CUDA Toolkit 12.4和cuDNN的步骤：

更新系统包索引并升级现有的包：




sudo apt update
sudo apt upgrade

安装NVIDIA驱动：




sudo apt install nvidia-driver-550.67

重启电脑以确保NVIDIA驱动正确安装：




sudo reboot

验证NVIDIA驱动安装情况：




nvidia-smi

下载CUDA Toolkit 12.4：
前往NVIDIA官网下载CUDA Toolkit 12.4（https://developer.nvidia.com/cuda-downloads），选择对应的安装包。
安装CUDA Toolkit 12.4：




sudo sh cuda_12.4.0_521.15_linux.run

配置环境变量：
编辑~/.bashrc或~/.profile文件，添加以下内容：




export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

重新加载环境变量：




source ~/.bashrc

验证CUDA安装：




nvcc --version

下载cuDNN库：
前往NVIDIA官网下载与CUDA 12.4对应的cuDNN库（https://developer.nvidia.com/cudnn）。
安装cuDNN库：




tar -xzvf cudnn-linux-x86_64-8.4.0.19_cuda12-archive.tar.gz
sudo cp cuda/include/cudnn*.h /usr/local/cuda-12.4/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-12.4/lib64
sudo chmod a+r /usr/local/cuda-12.4/include/cudnn*.h /usr/local/cuda-12.4/lib64/libcudnn*

以上步骤安装了NVIDIA驱动、CUDA Toolkit 12.4和cuDNN，为AIGC等GPU加速应用提供了必要环境。

System

2024-09-04

所有,AIGC

报错信息不完整，但从提供的信息来看，这个错误通常与Python包的安装有关。scikit-build-core是一个用于构建Python C/C++扩展的工具，而llama-cpp-python可能是一个依赖于scikit-build-core的Python包。

解决方法通常包括以下几个步骤：

确保你的Python环境是干净的，没有其他包的干扰。
确保你的pip和setuptools是最新版本，可以使用以下命令更新：
```
pip install --upgrade pip setuptools
```
如果你使用的是conda环境，尝试创建一个新的conda环境并在其中安装包。
尝试手动安装scikit-build-core，可以使用pip：
```
pip install scikit-build-core==0.8.2
```
如果上述步骤不奏效，尝试清除pip的缓存：
```
pip cache purge
```
查看完整的错误日志，以获取更多关于为什么scikit-build-core无法安装的信息。

如果你能提供更详细的错误信息，可能会有更具体的解决方案。

System

2024-09-04

所有,AIGC




#include <iostream>
#include <memory>
#include <string>
#include "llama.cpp/llama.hpp"
#include "langchain.cpp/langchain.hpp"
 
int main() {
    // 初始化Llama模型和LangChain
    std::shared_ptr<llama::Model> model = llama::Model::load("gpt-neox-30b", llama::ModelType::CPU);
    if (!model) {
        std::cerr << "Failed to load Llama model." << std::endl;
        return 1;
    }
 
    // 创建LangChain
    llama::LangChain llama("gpt-neox-30b", llama::ModelType::CPU);
 
    // 使用LangChain生成文本
    std::string prompt = "你的名字是什么？";
    std::string response = llama.generateText(prompt);
 
    // 输出结果
    std::cout << response << std::endl;
 
    return 0;
}

这段代码展示了如何在CPU上加载Llama大型模型并使用LangChain与之交互生成文本。首先，它尝试加载预先训练好的Llama模型。如果加载成功，它会创建一个LangChain实例，并使用该模型生成响应用户提示的文本。最后，它会输出模型的响应。这个例子简单明了地展示了如何在实际应用中集成Llama.cpp和LangChain库。

- 阅读更多 -

实战whisper：本地化部署通用语音识别模型

System

2024-09-04

所有,AIGC




# 安装必要的库
pip install paddlepaddle paddlehub
 
# 下载并运行通用语音识别模型
hub run whisper_bingvox_asr --input_text "你好，世界" --use_gpu True

这段代码首先安装了必要的库PaddlePaddle和PaddleHub。然后使用PaddleHub运行了一个名为whisper_bingvox_asr的通用语音识别模型，并将文本"你好，世界"转换成语音，使用GPU加速处理。这个例子展示了如何快速地使用预训练模型进行语音识别任务。

System

2024-09-04

所有,AIGC

报错信息提示为 RuntimeError: cannot import name '_compare_version'，这通常表示无法从指定模块中导入名为 _compare_version 的内部函数或变量。这可能是因为 _compare_version 不存在于该模块中，或者该模块的内部结构已经更改，导致原有的导入方式不再有效。

解决方法：

确认你尝试导入的库的版本是否与你尝试使用的代码兼容。如果不兼容，你可能需要更新库到一个与你的代码兼容的版本。
检查你的安装命令是否正确。有时候，安装命令中可能包含了错误的包名或版本号。
如果这个错误是在安装某个特定软件（如Stable Diffusion）时出现的，尝试查看该软件的官方文档或社区支持，以获取针对该错误的特定指导。
如果你是从源代码安装的，确保你已经正确地编译并安装了所有必需的依赖项。
如果以上方法都不能解决问题，可以尝试清理环境（如使用 pip uninstall package_name 命令卸载有问题的包，然后重新安装），或者在相关的开发者社区寻求帮助。

请注意，由于这个错误信息比较泛，具体的解决步骤可能需要根据实际遇到的环境和上下文进行调整。

- 阅读更多 -

Langchain--如何使用大模型 2.0

System

2024-09-04

所有,AIGC




from langchain import LLMChain
from langchain.llms import OpenAI
 
# 初始化OpenAI作为LLM
openai = OpenAI(temperature=0)
 
# 创建LLMChain并设置大型语言模型
llm_chain = LLMChain(llm=openai)
 
# 使用LLMChain进行提示生成
prompt = "世界上有哪些主要的自然资源？"
response = llm_chain.run(prompt)
 
# 打印结果
print(response)

这段代码演示了如何使用LangChain库来创建一个简单的LLM（大型语言模型）链条，并向该链条提交一个查询，获取相应的自然资源信息。在这个例子中，我们使用了OpenAI的LLM作为基础模型。代码首先初始化了OpenAI模型，并通过LLMChain类进行封装。然后，我们向链条提交了一个查询问题，并打印出了返回的结果。这是一个简单的示例，展示了如何使用LangChain来与大型语言模型交互。

- 阅读更多 -

部署微调框架LLaMA-Factory

System

2024-09-04

所有,AIGC

LLaMA-Factory 是一个用于微调大型语言模型（LLM）的开源工具，它提供了一个简单的方式来进行多种不同的微调任务。以下是部署 LLaMA-Factory 的基本步骤：

确保你有一个有效的 Python 环境，并且 Python 版本至少为 3.7。
安装 LLaMA-Factory 的依赖项：




pip install git+https://github.com/CompVis/llama-factory.git
pip install -r https://raw.githubusercontent.com/CompVis/llama-factory/main/requirements.txt

克隆 LLaMA-Factory 的仓库：




git clone https://github.com/CompVis/llama-factory.git
cd llama-factory

根据你的需求修改配置文件（config.yaml）。
运行 LLaMA-Factory：




python run.py

请注意，LLaMA-Factory 需要大型语言模型的权重文件，如 OpenAI 的 GPT-4 或 GPT-3，这些通常需要从模型的提供者那里获取，并且可能需要订阅或购买服务。

以上步骤提供了部署 LLaMA-Factory 的基本方式，具体细节和配置可能根据实际情况有所不同。如果你在实际操作中遇到具体的问题，请提供详细信息，以便进行针对性的解答。

- 阅读更多 -

开源项目Llama.cpp指南

System

2024-09-04

所有,AIGC

Llama.cpp是一个开源项目，旨在为开发者提供一个关于如何使用C++进行现代、高效和安全的编程的指南。然而，目前没有直接的指南或教程文档在Llama.cpp项目中。

如果你想要一个简单的C++编程指南，你可以参考C++ Core Guidelines，它是一个由C++标准协会制定的关于编写C++代码时应遵循的最佳实践指南。

以下是一个简单的例子，展示如何使用C++标准库中的std::vector来存储和操作一个数字列表：




#include <iostream>
#include <vector>
 
int main() {
    // 创建一个int类型的vector
    std::vector<int> numbers;
 
    // 添加数字到vector
    numbers.push_back(1);
    numbers.push_back(2);
    numbers.push_back(3);
 
    // 遍历并打印vector中的数字
    for (int num : numbers) {
        std::cout << num << std::endl;
    }
 
    return 0;
}

这段代码展示了如何使用std::vector来存储和输出一组整数。它遵循了现代C++编程的最佳实践，并且是一个很好的学习示例。

- 阅读更多 -