课程内容展示
1 XGpt模块设计
2 llama.cpp 控制台推理程序
3 基于transformer的推理
4 可视化推理程序llamaqt代码
5 可视化推理程序llamaqt
课程大纲
一 llama模型分析和推理测试
llama模型分析和预训练数据来源分析
llama模型下载脚本依赖环境安装
llama的7B、13B、30B、70B模型下载
llama推理测试程序演示
二 llama.cpp构建
llama.cpp源码下载和构建环境分析
构建依赖VisualStudio2022安装
构建依赖CMake安装
llama.cpp在windows构建和项目分析
三 llama模型格式转换和量化
ggml格式介绍
conda在windows中的安装和使用
llama的pth格式转换为ggml的bin
使用llama.cpp量化llama模型适应低性能设备
四 Chinese-LLaMA-Alpaca 中文模型
Chinese-LLaMA-Alpaca模型分析和下载
Transformers安装和llama模型格式转换
合并LoRA权重生成全量模型权重
使用Transformer和Web图形界面实现推理
使用llama.cpp量化和推理中文模型
五 大语言模型参数结合源码分析
推理参数和采样参数说明
llama参数ctx-size上下文大小相关代码分析
predict和batch-size回复数量和推理批次代码分析
增加结果多样性-重复惩罚repeat-penalty
温度改变随机性top-k和top-p算法分析
六 开源llamaqt 实战开发
基于cmake完成项目构建
XGtp模块-推理模块-支持扩展不同的推理算法
XGtp模块-日志子模块
XGtp模块-控制台转发模块
QT交互界面开发对话界面
模型加载、参数设置界面
运行状态和日志显示
