本地搭建chatglm3大模型

1.  ChatGLM2-6B模型说明

看源码官方介绍就好了

GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型

2.  本地硬件配置

Windows10系统

NVIDIA显卡：显存必须6G以上GPU；16G内存

3.  安装Cuda与Cudnn

在GPU上部署这个项目，你可能需要CUDA和Cudnn。他们是英伟达的计算工具包。

需要说明在选择CUDA版本时，不需要选择最新版本，这里选择11.7，方便安装其他依赖

安装教程：CUDA安装教程（超详细）

对应CUDA 11.7选择Cudnn版本

注：根据教程安装后，需要验证是否安装成功

4.  安装Anaconda

为了避免与本地其他Python版本环境冲突，这里需要Anaconda并创建Python环境

安装教程：Anaconda超详细安装教程（Windows环境下）

5.  创建Python环境

Anaconda安装完后，关闭安装窗口，重启电脑（重启电脑非必需）

按win+R键，输入cmd按回车。在弹出的窗口输入如下命令创建python虚拟环境

conda create -n py310_chatglm python=3.10

其中py310_chatglm为虚拟环境名称 3.10为python版本 不需要改动

后续会要求你确认安装，按Y键并回车开始安装。

执行完成 在命令行窗口上 输入

conda info --envs

 并回车 可以看到你刚才创建的虚拟环境

6.  安装Pytorch

先激活刚刚创建的虚拟环境py310_chatglm

conda activate py310_chatglm

打开Pytorch下载官网：https://pytorch.org/get-started/locally/#anaconda

注意：这里的Pytorch需要和cuda版本一致，我上面下载的是cuda11.7

红色框就是安装命令：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

需要网速好，安装快一点

在刚才激活python虚拟环境的运行窗口中执行 此安装命令

出现问题用以下方式解决

解决方式：可能自己电脑上对应cuda版本和torch、torchvision版本文件不一致。

解决方式：我们可以尝试卸载，重新安装

重新打开命令行窗口，并激活py310_chatglm虚拟环境，执行以下命令，安装的命令上，后面加上了 --no-cache-dir

pip uninstall torch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 --no-cache-dir

注意：需要下返回结果为True后 有才必要进行下面的步骤