使用信创算力与虚拟化技术提升大模型部署效率

主题介绍：
异构算力设备已经逐渐成为机器学习产品和服务中的常态化需求，近年来国产异构算力发展迅速，产生了一批相当有竞争力的产品。但其相对封闭的生态与云原生粗粒度的分配方式造成了生产环境中异构算力的使用率往往不尽如人意。
大模型成为趋势的当下，对于算力的需求呈现指数级别上升，如何能让大模型可以平稳部署在信创设备上，并提升其利用率已经成为了一个重要的课题。
本次演讲主要介绍Project-HAMi，一个基于云原生的开源异构算力整合与虚拟化解决方案，以此方式降低国产异构算力的使用门槛，解决资源分配粒度过粗的问题，从而提升了集群中异构算力设备利用率。

主题大纲：
1. 背景与趋势；
2. 产业痛点；
3. 异构算力池整合与虚拟化方案设计；
4. 异构算力迁移服务；
5. 应用实践。

演讲人介绍：
清华大学计算机系硕士、第四范式一体机项目组高级研发工程师。云原生以及异构算力虚拟化领域专家、CNCF毕业项目volcano reviewer、开源项目第四范式OpenAIOS vGPU scheduler作者、Project-HAMi作者，该项目已经累计部署超过10万个节点，kubeCon speaker。