ChatGLM 是清华大学的开源项目，其 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型， ，具有 62 亿参数。虽说参数在GPT中不算高，但是作为消费级的显卡上进行本地部署就非常实用。

官网

博客 | ChatGLM-6B

教学视频

A BiliBili video

根据视频简介提供的链接，将 模型model，主程序 ChatGLM-webui，环境包以及更新包下载下来。

使用过程

目录结构如下：

对应你的显存大小来启用bat

本地部署效果图

img

个人使用

常见问题

报错：

Symbol cudaLaunchKernel not found in C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common\cudart64_65.dll

RuntimeError: Library cublasLt is not initialized

去NVIDIA官网安装cuda即可，安装时默认安装路径，直接下一步即可。