专题演讲嘉宾：范煜

ChatGPT 的成功激励很多大公司在开发类似系统，和 OpenAI 公司竞争。但大多数人还是希望借助ChatGPT 的东风，利用 ChatGPT 类似技术开发私有模型，加入自有知识库实现本地化部署。不幸的是ChatGPT 没有开源，而且目前还没有对中国开放，因此如果想依赖 OpenAI 的 API 开发类 ChatGPT 是不可行的。此外，要训练自己的大语言模型成本太高。目前最佳路径是利用现有的预训练大语言模型进行指令微调，训练出自己的类 ChatGPT 私有模型。

类 ChatGPT 私有模型的开发吸引了很多人的投入，发展很快。目前主要基于 Meta 的 LLaMA 模型。OpenAI 看到 LLaMA 模型开放后吸引了很多开发者，一虎难敌群狼，所以也有开源 GPT3 的计划。LLaMA 模型的硬伤是不支持商用，性能更好的阿联酋技术创新研究所(TII)的 Falcon 40B，现在免收特许权使用费，未来有可能替代 LLaMA 的地位。

本课程从技术和实战角度介绍了类 ChatGPT 私有模型开发过程，涉及现有的预训练模型的增量训练、指令微调、中文支持、推理模型部署、数据集格式等，一步一步指导你搭建一个自己的私有模型。

课程大纲：

1. 搭建你自己的私有大模型
   • 模型选择
   • 预训练大语言模型
   • 指令微调模型
   • 量化模型
   • 推理模型部署
   • LangChain 开发
2. 训练你自己的私有大模型
   • 预训练大语言模型（LLM）的选择
   • 增量预训练预权重合并
   • 监督微调（SFT）数据集
   • 监督微调（SFT）训练
   • 模型部署
3. 实操环节设置
   • 服务器开发环境安装
   • LLM 权重文件下载
   • LLM 增量训练语料（自有资料）准备
   • LLM 增量预训练
   • LLM 增量权重文件的合并
   • SFT 训练数据（自有知识库）准备
   • SFT 训练
   • SFT 增量权重文件的合并
   • 模型推理服务部署

目标人群：

创业者、企业中高管、相关项目负责人，具有 Linux 和 Python 语言基础

现场开发环境建立：

• GPU 服务器、Linux 操作系统
• PyTorch、Transformer 开发环境
• 模型库：已有微调模型权重文件、LLaMA 预训练模型的权重文件
• 利用已有微调模型，部署推理服务，可以输入一段文字，生成后续内容
• 自己进行微调生成模型，需要在预训练模型（如LLaMA）上，准备数据集，进行监督微调训练，生成的模型可用于推理

学员收益：

• 深入了解大语言模型：学员将了解大语言模型的原理、应用领域和潜力，掌握如何将自有知识加入大语言模型中；
• 私有知识应用开发技能：学员将学习如何搭建私有化大模型、开发及部署个性化、安全性强的企业内部类 ChatGPT 应用。他们将掌握 LangChain 开发、预训练模型的增量训练及监督微调等关键技能；
• 企业场景应用：构建企业内部知识智能客服、开发私有知识问答系统等。这将帮助他们将所学应用于实际工作场景中，提升工作效率和解决业务挑战。