目录
环境下载开源 LLM:ChatGLM3安装miniconda安装CUDA配置python环境个人PC部署体验
部署时间:2024年5月10日
update(2024年7月15日):这几天刚刚了解到cuda环境已经被封装在pytorch包的二进制文件里面了…所以疑似是不需要装CUDA的(没实测)
回到顶部
环境
英伟达显卡(显存大小,在windows11上部署的话,8G勉强能跑,16G应该才能正常跑)
Windows11
回到顶部
下载开源 LLM:ChatGLM3
下载代码,通过VSCode打开ChatGLM3
文件夹,作为工作目录
下载模型,大概十几G,记录下保存的目录,形如X:xxxxxxxxxchatglm3-6b
另一篇参考流程
回到顶部
安装miniconda
官网
将会在虚拟环境中配置所需的Python环境
回到顶部
安装CUDA
首先通过命令 nvidia-smi
查看显卡支持的CUDA最高版本
然后在pytorch官网查看你想安装的pytorch版本对应的CUDA版本
官网安装CUDA ,根据我的环境与任务,我选择的是CUDA12.1 疑似无需安装
随便百度一篇可以参考
回到顶部
配置python环境
关于pytorch版本与安装命令,请严格按照官网的来
参考 https://pytorch.org/get-started/locally/
参考 https://pytorch.org/get-started/previous-versions/#linux-and-windows-6
在WINDOWS下如果安装pytorch2.3,后续运行模型时可能会报警告(1Torch was not compiled with flash attention.),当然,似乎不影响使用;于是选择pytorch2.1.2,不会报警告,当然,暂时没发现性能或其它方面(与会报警告的2.3.0比较)有什么优势。
首先,可以在开始菜单中找到miniconda(安装的时候默认勾选了),打开miniconda的终端,依次运行以下代码
conda create -n GPT python=3.11 -y
activate GPT
activate GPT
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
然后可以关闭这个终端了。
接下来切到VSCode,将VSCode的Python解释器选成GPT环境中的解释器。(此步应有图片,有空再补)
在VScode中直接新建终端,就默认是在虚拟环境GPT
中的终端,在这个终端运行命令
pip install -r requirements.txt
环境就配置完成了。
最后,可以运行 ChatGLM3中的各种应用demo做测试,代码中的MODEL_PATH
都要修改为LLM的模型保存目录,例如可以这样改 MODEL_PATH=X:\xxx\xxx\xxx\chatglm3-6b
关于代码怎么写怎么用,查阅源代码提供的各个文档,或者上官网
回到顶部
个人PC部署体验
我的渣机配置是 12600KF+16G内存+RTX4060(8G显存),用4-bit量化部署,GPU使用率和显存直接跑满,共享显存使用5G+,运行对话功能的demo时,一次对话视情况不同需要1分钟~数分钟不等,挺慢的
(update 2024.7.15)推测跑得慢的原因:显存不够用的情况下,系统用内存充当“共享显存”,性能瓶颈在于,数据通过主板上的PCIE4.0接口在内存和显卡之间的交互效率实在太低,因此跑大模型一定要用显存足够的显卡
语言性能方面,输出质量还达不到可用的水准
如果真正用LLM参与实践,并且需要自己部署的话,最好用有专业显卡的服务器(足够大显存+没有GUI界面渲染对显存的占用),部署更多参数的模型(7B肯定是不能用的)