2023 WOT全球技术创新大会 腾讯云“AI超级底座”专场

解读腾讯云如何通过软硬自研,实现基础设施性能、速率、容错、调度等的跨越式升级。

6人学习

初级1课时2023/12/01更新

二维码下载学堂APP缓存视频离线看

51CTO
    • 畅销套餐
    • 精选套餐
    • 人气套餐
  • 课程介绍
  • 课程大纲

适合人群:

所有人

你将会学到:

解读腾讯云如何通过软硬自研,实现基础设施性能、速率、容错、调度等的跨越式升级。

课程简介:

本专场聚焦云基础设施产品技术,重点针对大模型训练、推理等AI场景,为您解读腾讯云如何通过软硬自研,实现基础设施性能、速率、容错、调度等的跨越式升级。随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。

展开更多

课程大纲-2023 WOT全球技术创新大会 腾讯云“AI超级底座”专场

在线
客服
APP
下载

下载Android客户端

下载iphone 客户端

官方
微信

关注官方微信

返回
顶部