chatglm原理介绍及源码剖析系列课程

689未经授权,禁止转载
源码大语言模型自然语言处理语言模型transformer预训练微调源码分析模型结构分词原理编码解码器glm架构
本次分享深入探讨了chat GLM,一种大型语言模型的内部机制和技术细节。首先解析了其预训练阶段的mask处理方式,然后介绍了模型文件的配置,包括结构定义和参数预处理。分词原理的探讨揭示了特殊的分词逻辑处理,而模型结构的源码分析突出了与标准Transformer不同之处。整个讨论不仅限于静态分析,还包括动态的劳拉训练过程的解码,这有助于理解数据结构和函数调用等的转换。最后比较chat GLM与其他模型的差异,为理解和实施其他模型提供了基础,并通过补充内容解答了可能遗留的问题。本次内容为那些对深入理解NLP模型原理、结构、以及如何进行源代码分析和实现感兴趣的技术人员和研究者提供了宝贵的知识。
讨论{{interaction.discussNum ? '(' + interaction.discussNum + ')' : ''}}
ad
发布
头像

{{ item.user.nick_name }} {{ EROLE_NAME[item.user.identity] }}

置顶笔记
讨论图
{{ item.create_time }}回复
  • 删除

    是否确认删除?

    确认
    取消
  • {{ item.is_top == 1 ? '取消置顶' : '置顶'}}

    已有置顶的讨论,是否替换已有的置顶?

    确认
    取消
{{ tag.text}}
头像
{{ subitem.user.nick_name }}{{ EROLE_NAME[subitem.user.identity] }}
{{ subitem.create_time }}回复
删除

是否确认删除?

确认
取消
发布
{{pageType === 'video' ? '讨论区抢占沙发,可获得双倍学分' :'讨论区空空如也,你来讲两句~'}}
发布
{{tips.text}}
{{ noteHeaderTitle }} 笔记{{ hasMyNote ? '我的笔记' : '记笔记' }}
{{ hasMyNote ? '我的笔记' : '记笔记' }}
优质笔记
更新于:{{ $dayjs.formate('YYYY-MM-DD HH:mm:ss', item.last_uptime*1000) }}
头像
{{ detail.username }}

公开笔记对他人可见,有机会被管理员评为“优质笔记”

{{ noteEditor.content.length }}/2000

公开笔记
保存
讲师头像
acedar
电子科技大学硕士,精通NLP算法及大模型算法及应用,包括RAG及Agent等。现任职于腾讯高级研究员,具有7年以上的大型项目开发经验。研究领域涵盖人工智能,AIGC,NLP算法。申请专利近30项,曾多次参加腾格里沙漠植树及AI教学等公益活动,在2022年被评为优秀共产党员,荣获《2022年度深圳市产业发展与创新人才奖》。出过《手把手带你从0到1实现大模型agent》《手把手教你实现大模型RAG》《ChatGLM微调原理和源码分析》《chatglm原理介绍及源码剖析系列课程》《langchain源码剖析系列课程》等课程。
TA的课程
接下来播放:
自动连播