AI大模型微调训练营第5期

AI大模型微调训练营第5期资源介绍:

学完后能够掌握主流的大模型微调（Fine-tuning）技术，提升大模型应用的准确率，满足业务需求。并可以基于国产硬件（华为昇腾 910）和大模型（ChatGLM-6B）完成适配工作，满足合规要求。

需要具备 Python 语言基础，使用过 ChatGPT 或其他类似的产品，同时对反向传播、神经网络、注意力机制以及 Transformer 有基本的了解。能够掌握主流的大模型微调技术，提升大模型应用的准确率，满足业务需求。并可以基于国产硬件和大模型完成适配工作，满足合规要求。

资源目录:

——/AI大模型微调训练营第5期/
├──第10章  
|   ├──课件  
|   |   └──10-实战私有数据微调ChatGLM3.pdf  10.19M
|   ├──1. 章节介绍_  9.12M
|   ├──2. 使用 ChatGPT 自动设计生成训练数据的 Prompt_ev_  60.56M
|   ├──3. 合成数据： LangChain + GPT-3.5 Turbo_ev_  12.55M
|   ├──4. 数据增强：提升训练数据多样性_ev_  15.12M
|   ├──5. 提示工程：保持批量生成数据稳定性_ev_  44.16M
|   ├──6. 实战私有数据微调 ChatGLM3_ev_  103.76M
|   └──7.作业.txt  0.18kb
├──第11章  
|   ├──课件  
|   |   ├──11-ChatGPT大模型训练技术RLHF.pdf  6.88M
|   |   └──RLHF论文.zip  6.05M
|   ├──1. 章节介绍_ev_  13.04M
|   ├──2. ChatGPT 大模型训练核心技术_ev_  93.58M
|   ├──3. 基于人类反馈的强化学习（RLHF）技术详解_ev_  91.42M
|   └──4. 基于 AI 反馈的强化学习（RLAIF）技术_ev_  18.94M
├──第12章  
|   ├──课件  
|   |   ├──12-混合专家模型（MoEs）技术揭秘.pdf  5.12M
|   |   └──MoEs论文.zip  7.67M
|   ├──1. 章节介绍_  6.87M
|   ├──2. MoEs 技术发展简史_  107.47M
|   ├──3. MoEs 与大模型结合后的技术发展_ev_  98.33M
|   └──4. MoEs 实例研究：Mixtral-8x7B_ev_  25.83M
├──第13章  
|   ├──课件  
|   |   ├──13-Meta AI 大模型 LLaMA.pdf  8.83M
|   |   └──LLaMA论文.zip  15.27M
|   ├──1. 章节介绍_  5.96M
|   ├──2. LLaMA 1 大模型技术解读_  112.52M
|   ├──3. LLaMA 1 衍生模型大家族_  90.62M
|   ├──4. LLaMA 2 大模型技术解读_  28.90M
|   └──5. 申请和获取 LLaMA 2 模型预训练权重_ev_  12.85M
├──第14章  
|   ├──课件  
|   |   └──14-实战LLaMA2-7B指令微调.pdf  3.60M
|   ├──1. 章节介绍_ev_  11.37M
|   ├──2. 大模型训练技术总结_ev_  128.12M
|   ├──3. LLaMA2-7B 指令微调上手实战_ev_  85.79M
|   └──4. 再谈中文指令微调方法_ev_  19.51M
├──第15章  
|   ├──课件  
|   |   └──15-大模型分布式训练框架Microsoft DeepSpeed.pdf  8.05M
|   ├──1. 章节介绍_ev_  5.16M
|   ├──10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练_ev_  45.27M
|   ├──11. DeepSpeed 创新模块 Inference Compression  Science_ev_  8.39M
|   ├──2. 预训练模型显存计算方法_ev_  50.41M
|   ├──3. Zero Redundancy Optimizer  ZeRO技术详解_ev_  68.20M
|   ├──4. Microsoft DeepSpeed 框架和核心技术_ev_  64.34M
|   ├──5. 分布式模型训练并行化技术对比_ev_  17.33M
|   ├──6. DeepSpeed 与 Transformers 集成训练大模型_ev_  9.65M
|   ├──7. DeepSpeed 框架编译与安装_ev_  56.60M
|   ├──8. DeepSpeed ZeRO 配置详解_ev_  52.70M
|   └──9. 使用 DeepSpeed 单机多卡、分布式训练_ev_  8.90M
├──第16章  
|   ├──课件  
|   |   └──16-国产化实战：基于华为 Ascend 910 微调 ChatGLM-6B.pdf  8.74M
|   ├──1. 章节介绍_ev_  5.94M
|   ├──2. 蓝色星球的算力霸主：NVIDIA_ev_  138.08M
|   ├──3. 厚积薄发的江湖大佬：Google_ev_  19.65M
|   ├──4. 努力追赶的国产新秀：华为_ev_  17.55M
|   ├──5. 华为昇腾全栈 AI 软硬件平台介绍_ev_  21.77M
|   └──6. 实战：华为 Ascend 910B 微调 ChatGLM 6B 模型_ev_  57.30M
├──第17章  
|   ├──1. GLM 大模型家族介绍_ev_  60.72M
|   ├──1.GLM大模型家族介绍.pdf  7.37M
|   ├──2. GLM 模型部署微调实践_  98.95M
|   ├──2.GLM模型部署实践.pdf  2.73M
|   ├──3. CogVLM模型部署实践_  63.41M
|   ├──3.CogVLM模型部署实践.pdf  2.87M
|   ├──4. 选学 智谱第四代 API 介绍_  7.89M
|   ├──4.选学 GLM4 GLM4V API 调用实践.pdf  1.77M
|   ├──5. 选学 API 基础教学和实战-问题解决方案.txt  0.43kb
|   ├──5. 选学 API 基础教学和实战_ev_  42.60M
|   └──6. 使用 GLM-4 API 构建模型和应用_ev_  66.99M
├──第1章  
|   ├──课件  
|   |   └──1-AI大模型四阶技术总览.pdf  20.74M
|   ├──1. 章节介绍_  8.12M
|   ├──2. AI技术浪潮：弱人工智能、机器学习、深度学习、大语言模型_  64.39M
|   ├──3. AI应用浪潮：高校共识、硅谷创新、中美博弈_  97.22M
|   ├──4. 把握浪潮：AI 大模型助力超级个体和小团队_  18.61M
|   ├──5. AI大模型四阶技术总览：提示工程（Prompt Engineering）_  62.00M
|   ├──6. AI大模型四阶技术总览：AI智能体（Agents）_  51.25M
|   ├──7. AI大模型四阶技术总览：大模型微调（Fine-tuning）_  42.70M
|   └──8. AI大模型四阶技术总览：预训练技术（Pre-training）_  20.99M
├──第2章  
|   ├──课件  
|   |   ├──2-大语言模型技术发展与演进.pdf  17.79M
|   |   ├──代码链接地址.txt  0.06kb
|   |   └──论文.zip  9.97M
|   ├──1. 章节介绍_  42.57M
|   ├──2. 统计语言模型_ev_  51.22M
|   ├──3. 神经网络语言模型_ev_  76.36M
|   ├──4. 大语言模型：注意力机制_ev_  48.94M
|   ├──5. 大语言模型：Transformer网络架构_ev_  62.30M
|   ├──6. 大语言模型：GPT-1与BERT_ev_  53.04M
|   └──7. 大语言模型：暴力美学GPT系列模型_ev_  44.63M
├──第3章  
|   ├──课件  
|   |   └──5-大模型开发工具库 HF Transformers.pdf  4.44M
|   ├──1. 章节介绍_ev_  2.60M
|   ├──2. Hugging Face Transformers快速入门_ev_  29.88M
|   ├──3. Transformers核心功能模块_ev_  46.69M
|   ├──4. 大模型开发环境搭建_ev_  35.10M
|   ├──5. 实战Hugging Face Transformers工具库_ev_  212.20M
|   └──6.作业.txt  0.27kb
├──第4章  
|   ├──课件  
|   |   └──4-实战Transformers模型训练.pdf  5.15M
|   ├──1. 章节介绍_  5.33M
|   ├──2. 数据集处理库Hugging Face Datasets_  48.95M
|   ├──3. Transformers模型训练入门_ev_  21.39M
|   ├──4. 实战训练BERT模型：文本分类任务_ev_  141.30M
|   ├──5. 实战训练BERT模型：QA任务_ev_  305.46M
|   └──6.作业.txt  0.38kb
├──第5章  
|   ├──课件  
|   |   ├──5-大模型高效微调技术揭秘（上）.pdf  9.80M
|   |   ├──Fine-tuning论文.zip  16.51M
|   |   └──Instruction-Tuning论文.zip  1.24M
|   ├──1. 章节介绍_ev_  6.96M
|   ├──2. Before PEFT：Hard Prompt  Full Fine-tune_ev_  52.24M
|   ├──3. PEFT主流技术分类介绍_  23.01M
|   ├──4. PEFT - Adapter技术_  58.03M
|   ├──5. PEFT - Soft Prompt 技术（Task-specific Tuning）_  95.85M
|   └──6. PEFT - Soft Prompt 技术（Prompt Encoder）_  76.37M
├──第6章  
|   ├──课件  
|   |   └──6-大模型高效微调技术揭秘（下）.pdf  7.56M
|   ├──1. 章节介绍_ev_  3.70M
|   ├──2. LoRA低秩适配微调技术_ev_  58.18M
|   ├──3. AdaLoRA自适应权重矩阵微调技术_ev_  58.02M
|   ├──4. QLoRA量化低秩适配微调技术_ev_  46.46M
|   ├──5. UniPELT：大模型PEFT统一框架_ev_  20.07M
|   └──6. (IA)3：极简主义增量训练方法_ev_  30.41M
├──第7章  
|   ├──课件  
|   |   └──7-大模型高效微调工具HF PEFT 入门与实战.pdf  4.91M
|   ├──1. 章节介绍_  3.28M
|   ├──2. Hugging Face PEFT 快速入门_  57.99M
|   ├──3. OpenAI Whisper 模型介绍_  31.24M
|   ├──4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别_ev_  233.79M
|   └──5.作业.txt  0.54kb
├──第8章  
|   ├──课件  
|   |   ├──8-大模型量化技术入门与实战.pdf  6.14M
|   |   └──Quantization论文.zip  5.56M
|   ├──1. 章节介绍_ev_  2.65M
|   ├──2. 模型显存占用与量化技术简介_ev_  34.87M
|   ├──3. GPTQ：专为 GPT 设计的模型量化算法_ev_  74.97M
|   ├──4. AWQ：激活感知权重量化算法_ev_  52.91M
|   ├──5. BitsAndBytes(BnB) ：模型量化软件包_ev_  15.89M
|   ├──6. 实战 Facebook OPT 模型量化_ev_  80.76M
|   └──7.作业.txt  0.46kb
├──第9章  
|   ├──课件  
|   |   ├──9-GLM 大模型家族与ChatGLM3-6B微调入门.pdf  15.35M
|   |   └──GLM论文.zip  43.84M
|   ├──1. 章节介绍_ev_  4.62M
|   ├──2. 基座模型 GLM-130B_ev_  93.10M
|   ├──3. 扩展模型：联网检索、多模态、代码生成_ev_  44.82M
|   ├──4. 对话模型 ChatGLM 系列_ev_  11.17M
|   ├──5. ChatGLM3-6B 微调入门_ev_  20.55M
|   ├──6. 实战 QLoRA 微调 ChatGLM3-6B_ev_  89.00M
|   └──7.作业.txt  0.17kb
├──直播回放  
|   ├──10.17 第四次直播答疑_ev_  65.26M
|   ├──8.29 第一次直播答疑_ev_  109.23M
|   └──9.26 第三次直播答疑_ev_  40.03M
├──01-课前准备.docx  740.23kb
├──02-课程表.webp  570.21kb