datawhalechina

datawhalechina / self-llm

#18
31,3283,060+10 todayJupyter Notebook

《开源大模型食用指南》针对中国开发者定制的Linux环境快速微调(全参数/Lora)、部署国内外开源大模型(LLM)/多模态大模型(MLLM)教程

💡 应用场景

最适合需要从零开始学习开源大模型部署、微调和应用的中国开发者,尤其是学生和研究者,提供一站式Linux环境下的全流程实战教程

本地部署开源LLM

问题:想体验或使用ChatGLM、Qwen等开源大模型,但缺乏Linux环境配置和部署经验

方案:项目提供针对不同模型的详细Linux环境配置步骤和本地部署教程,包括命令行调用和在线Demo搭建

示例:学生想在个人服务器上运行Qwen2模型进行文本生成,按照教程完成环境配置后,通过几行命令即可启动模型服务并调用

低成本微调专属模型

问题:需要针对特定领域(如客服、教育)微调大模型,但GPU资源有限,不懂LoRA等高效微调技术

方案:项目提供全参数和LoRA微调教程,覆盖Qwen、InternLM等主流模型,指导在消费级GPU上完成高效微调

示例:开发者想用《甄嬛传》台词微调一个角色对话模型,参考项目中的Chat-嬛嬛案例,使用LoRA在单卡GPU上完成训练

集成LangChain应用开发

问题:想将开源LLM接入LangChain框架构建RAG或Agent应用,但不知如何配置和调用

方案:项目包含LangChain框架集成教程,展示如何将本地部署的模型封装为可调用的API,并嵌入到应用流程中

示例:构建一个知识库问答系统,按照教程将Qwen模型部署后,通过LangChain加载本地文档并实现检索增强生成

多模型对比与快速上手

问题:面对众多开源模型(LLaMA、ChatGLM、InternLM等),不知如何选择,且每个模型环境配置各异

方案:项目提供50+模型的统一教程结构,从环境配置到部署微调全覆盖,方便快速对比和切换不同模型

示例:研究人员想评估Qwen3和DeepSeek-R1在数学推理上的表现,参考项目教程分别部署两个模型,并测试相同问题

📊 项目信息

语言
Jupyter Notebook
Stars
31,328
Forks
3,060
今日新增
+10
排名
#18
收录
语言榜
趋势日期
2026年7月18日
最后推送
2026/7/15

🏷️ 标签

chatglmchatglm3gemma-2b-itglm-4internlm2llama3llmloraminicpmq-wenqwenqwen1-5qwen2

📸 截图

self-llm screenshot 1self-llm screenshot 2self-llm screenshot 3