chatglm的lora微调原理及源码剖析

对大模型的RAG原理及实践有一个深刻的理解,并能够在当前课程的实践上进一步完善适应实际业务

1人学习

初级26课时2024/06/24更新

二维码下载学堂APP缓存视频离线看

acedar
  • 课程介绍
  • 课程大纲

适合人群:

具有计算机科学基础背景,具有python基础,并希望想转行并专注于大模型应用的同学

你将会学到:

对大模型的RAG原理及实践有一个深刻的理解,并能够在当前课程的实践上进一步完善适应实际业务

课程简介:

从0到1 源码分析微调原理

01-为什么要微调

02-adapter微调方法介绍

03-prompt-prefix-tuning

04-p-tuningv2

05-lora

06-qlora原理介绍

07-chatglm源码分析-lora训练整体概览

08-chatglm源码分析-模型加载代码分析

09-chatglm源码分析-encode执行逻辑分析

10-lora参数配置结合源码介绍

11-lora入口函数分析

12-lora的类关系图

13-lora定义类的大体介绍

14-lora配置参数校验

15-chatglm模块改写成lora

16-lora参数冻结逻辑分析

17-模型最后一层的特殊处理&训练样本处理

18-chatglm的loratrainer解析

19-loraTrain初始化1

20-loraTrain初始化2

21-loraTrain初始化3

22-loraTrain初始化4

23-loraTrain训练过程分析1

24-loraTrain训练过程分析2

25-loraTrain训练过程分析3

26-loraTrain训练过程分析4














展开更多

“acedar”老师的其他课程更多+

在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部