新浪科技讯 9月16日上午消息,今日,在2025腾讯全球数字生态大会上,腾讯集团副总裁、腾讯云总裁邱跃鹏表示,腾讯云持续深度参与并回馈开源社区,同时依托异构计算平台整合多种芯片资源,向外界提供高性价比的 AI 算力。目前,该平台已全面适配主流国产芯片。
在推理加速方面,腾讯云深入参与开源贡献,向DeepSeek、vLLM、SGLang等社区提交了多项优化技术。针对大模型推理面临的内存瓶颈,腾讯云自研并开源FlexKV 多级缓存技术,大幅降低KVCache的占用,将首字时延降低多达70%。
他提到,腾讯云基础设施已覆盖全球 55 个可用区,部署 3200 多个加速节点,为上万款游戏提供安全防护,在过去一年抵御了同比增长 183% 的 DDoS 攻击。腾讯云加快国际化布局,并计划在日本大阪和沙特新建可用区,目前全球已经设立 9 个技术支持中心,并获得400 多项专业认证。今年,依托适配全球技术生态的产品能力和本地化服务,腾讯云完成印尼版“滴滴+美团”超大规模迁移,过程中仅用 5 个月建成印尼第三可用区。
以下为演讲全文:
尊敬的各位领导、各位嘉宾、媒体朋友:
大家上午好!我是邱跃鹏。
大模型产业重心从训练到推理的转变,已经成为行业共识。从腾讯自身的实践,我们也看到了同样的趋势,同时客户对于使用大模型和建设Agent迸发出强烈热情,这都带来了推理需求的暴涨。从IDC咨询公司的数据可以看到,Agent也将进一步推动推理需求的爆发。这也意味着,我们的AI基础设施,也要同步升级。
下面想和大家一起探讨如何通过AI Infra的升级,来加速Agent的规模化落地。
从技术角度来看,开源社区与推理相关的技术范式正在快速迭代。腾讯在推理加速上一直有非常多的积累,我们积极参与到社区贡献中,共建推理加速技术生态。
今年2月,DeepSeek 一口气开源了五大代码库,为社区注入了前所未有的活力。其中,专注 GPU 通信的 DeepEP,与我们长期积累的 TRMT技术方向高度契合。我们在此基础上优化了 DeepEP,使其在 IB 网络性能提升了 30%,在数据中心常用的 RoCE 网络环境中性能更是翻倍。DeepSeek 在社区公开致谢,并用“huge speedup”形容这次贡献。
第二个重点是 KV Cache 优化。随着大模型参数规模激增,推理对显存的需求急剧上升。同时,智能客服、代码助手等场景,对上下文长度的要求不断扩展,导致推理过程中产生的 KV Cache 线性增长,GPU 显存成为瓶颈。对此,我们将KV Cache逐层缓存至内存、SSD及云端扩展存储,充分利用整个推理集群节点上的存储资源,以及外置扩展资源,以存换算,提高性价比和系统吞吐,并极大降低TTFT等延迟指标。
为了解决分布式KV Cache和多级缓存的精细管理,并建起推理引擎到云存储的桥梁,我们研发并正式开源了 FlexKV。在知名SSD厂商“群联电子”的测试中,FlexKV 将首字时延最高降低 70%,对话时延降低57%。
推理框架优化对于提升推理效率也非常重要。围绕用户体验、成本控制和应用拓展,我们贡献了多项核心技术,补充到了不同社区框架中。
例如,我们集成了多 token 联合预测 (MTP) 技术,让模型一次运算生成多个 token,将生成速度提升了 35%。我们还帮助社区打通了注意力数据并行 (Attention DP) 功能,将吞吐量提升了 30%。
此外,通过集成 MoE-Chunk 技术,成功使推理框架能够处理超过 256K 的超长输入,使其在长文档分析、复杂代码生成等场景中也能保持高效。
这些成果背后,是腾讯软硬件协同全栈优化的长期战略投入,腾讯始终坚持积极参与和回馈开源社区,并通过腾讯云异构计算平台的软件能力,整合不同类型的芯片,对外提供高性价比的AI算力,目前我们已经全面适配主流的国产芯片。
当Agent从前沿技术走向企业生产环境盛鹏优配,如何确保其在一个安全可信的环境中高效运行成为新的挑战。为此,我们推出了全新的 Agent infra 解决方案——Agent Runtime。
它集成了执行引擎、云沙箱、上下文服务、网关、安全可观测服务等多项产品和能力。可以说,Agent Runtime 为Agent提供了坚实可靠的“手”和“脚”,以及至关重要的安全隔离云端执行环境,真正打通了Agent从技术到应用的最后一公里。
比如大家最关注的沙箱技术。云沙箱是 Agent Runtime 的核心组件,基于自研的Cube沙箱技术,通过“运行时快照”、“资源预创建池化”等多种技术手段,实现了 100毫秒的极速启动,并能支持数十万Agent实例同时并发,这意味着Agent无需等待,随时可以投入使用,具备卓越的资源弹性和秒级调度能力。
云沙箱也支持多种灵活的接入方式,无论通过 MCP、SDK 还是 API,都能快速集成,满足不同业务场景的需求。我们还提供了全方位的安全保障,包括严格的身份权限管理和数据安全防护,确保每一个Agent都能在一个安全可信的环境中高效运行。
除了面向Agent升级基础设施,我们也在思考如何将Agent能力应用在客户的云上旅程,帮助客户更好的用云、管云,很高兴向大家介绍腾讯云的专家服务智能体——Cloud Mate。
Cloud Mate由一系列凝聚了各个云上领域经验的子Agent构成,它不仅仅是一项技术,更是腾讯云海量实践的汇总,能够可视化治理云上架构、前置拦截风险,并大幅提升问题处理效率,改变我们管理云的方式。
在云上架构治理方面,具备Agent能力的智能顾问就像一个全能的数字架构师,可以无缝集成超过 90% 的腾讯云产品,对整个云上架构进行全面感知和可视化。
例如,在新游上线前必做的重保演练,它能将整个周期从原来的 1周缩短至1天,目前,腾讯云智能顾问已经为云上客户提供,超过100万次的智能架构治理服务,是真正值得信赖的云上伙伴。
在风险防范场景,慢查询或低效SQL是长期困扰开发与DBA的难题,这种业务代码一旦上线,可能严重拖慢数据库性能,甚至导致服务宕机。
Cloud Mate非常擅长数据库业务,能够深入到代码环节,在开发提交代码前,自动进行风险检测与拦截,从源头保障线上数据库的安全稳定。从内部实践看,Cloud Mate对风险SQL的拦截率高达95%,累计检测了超过770万行代码。
在排障方面,Cloud Mate 带来的改变尤为显著。当客户云上业务系统日益复杂时,如何快速定位问题,是一个巨大的挑战。过去,解决一个复杂问题平均需要30小时以上,并且高度依赖于个人经验和手动操作。
而现在,通过 Cloud Mate 强大的自动化和并行编排能力,我们能够将平均排障时间,从小时级缩短至分钟级,最快仅需3分钟。Cloud Mate 能够自动执行诊断工具链,并行处理多个任务,极大地提升了运维效率,让故障定位不再是难题。
除了智能化升级之外,企业全球化的趋势也势不可挡。
我们持续打磨产品性能,通过坚实的基础设施建设,助力客户在全球范围拓展业务。
腾讯云自研的星星海服务器从SA5到SA9持续迭代,通过硬件架构创新,在有限空间内,最大化提升计算密度与能效,旗舰SA9单机规格,从前一代的512核进一步提升到768核,星星海服务器目前在全球累计部署核数超过2亿,为客户持续提供稳定可靠的计算能力。
我们还推出了新一代架构的TDSQL数据库, 让分布式数据库像单机 MySQL一样好用,同时享受到单机数据库的易用性,以及分布式数据库的海量存储与高并发能力,具备无限的TP扩展性与轻量AP能力。 同时,我们还将AI和数据库的优化器结合,在复杂查询场景下,总时延能下降 80%以上。
专有云TCE在国内政企客户中备受好评,当我们推向国际市场,“高可用性”也得到了国际客户的肯定。我们持续提升TCE容灾切换的一致性、准确性和实时性,目前已经达到RTO 2分钟级别,具备近金融6级的容灾能力。
游戏体验的流畅性、稳定性和安全性,直接决定着一款产品能否成功走向全球。在今年Omdia的报告中,我们与AWS、Google、Microsoft等企业,一同被评为全球游戏云平台的领导者。
为了让精品游戏都能高效进入全球市场,我们不断打磨基础设施的健壮性。目前,我们的服务已覆盖全球55个可用区,拥有超过3200个加速节点,确保游戏能够以极低的延迟触达全球玩家。我们还为全球超过1万款游戏保驾护航,成功抵御的DDoS攻击次数同比增长了183%,为游戏的平稳运营筑起了坚实的防线。同时,我们通过WeTest和ACE等一系列产品,为游戏开发者提供全方位的测试与安全服务,帮助他们在游戏上线前,就彻底排除潜在隐患。
以韩国头部头部游戏集团Com2uS为例,他们不仅是成功的游戏开发商,更打造了面向开发者的游戏后端服务平台Hive。借助腾讯云40多款云产品的支撑,Hive构建了上百个游戏开发和部署组件,并被90多家游戏公司接入使用,成功支撑了250款游戏上线,服务全球超过9亿游戏玩家。今年,他们准备从亚太启航,进一步进军北美市场,而腾讯云依然是他们最信赖的合作伙伴。
我们与创梦天地的合作也持续深化。他们的全新游戏《卡拉彼丘》在全球发行后,不到2小时就登顶Steam排行榜榜首,背后正是我们WeTest、大模型服务等能力保障的结果,大幅提升了游戏质量优化和多语言舆情处置的效率,让创梦天地能够更加专注于核心业务,拥抱全球市场。
面向AI时代,我们持续升级产品,助力客户轻松进入低门槛的开发新时代。EdgeOne是我们面向国际市场推出的下一代安全加速产品,今年我们进一步将大模型与MCP Server结合,推出了EdgeOne Pages,当用户使用Codebuddy、Cursor、VScode等AI编程工具时,可以便捷调用EdgeOne Pages的MCP,在几分钟内完成涵盖注册、支付、加速和安全防护的完整电商网页部署。产品上线三个月,已助力超过10万用户走向全球市场,成为中小企业和独立开发者的出海首选平台。
如果客户希望进一步丰富产品的互动能力,我们提供低代码、模块化的互动直播组件,结合目前市面上主流的AI编程工具,可以将开发周期从月级压缩至天级,同时支持千万级规模的单房间直播。组件上线半年以来,客户数增长超300% 。
我们致力于通过“边加端”的AI整体方案,以极低门槛和极快速度,将创新想法落地为全球产品,释放开发者的生产力。
产品技术的升级,也能让腾讯云的用户更从容应对全球化复杂场景,尤其是瞬时流量洪峰。
过去一年,我们成功护航了多个高并发场景。例如,腾讯云平稳支撑了国家级大型活动的直播,支撑了全球超过8000万观众同时在线观看,直播平台全程无卡断。我们还支持并保障了亚太地区超过一半的正版英超直播。其中的智能媒体处理技术,为客户实现了提质增效,保障了音视频全链路的流畅体验。
在安全防护方面,腾讯云的防护容量相比去年增长了70%,达到了25T,带宽储备增长100%,达到400T。在服务某头部潮玩企业火爆发售的过程中,我们成功应对了全球业务十倍级的流量突发,并通过AI实时防刷引擎,将高峰时段黑产比例从80%大幅压缩到0.2% 。
腾讯云在海外完善的基础设施和本地化服务,也在吸引越来越多的海外本地企业跨云迁移。印尼 GoTo 就是一个典型案例:
GoTo是东南亚最大的科技集团,合并了印尼两大独角兽企业——负责即时配送和出行服务的Gojek和电商平台Tokopedia。腾讯云负责的Gojek业务,是这场迁移中复杂度最高的部分,相当于把印尼的“滴滴+美团”云上搬家。
我们面对的,是一个超大体量的平台:拥有超过1亿的注册用户, 管理着超过10000台云主机、730多个数据库实例和1000多个微服务。同时,其系统极其复杂 :四大核心业务线、九个工程子系统,模块间高度耦合。这无疑是一个世界级的云业务迁移挑战。
面对如此复杂的项目,团队驻扎雅加达现场,与GoTo紧密协作:高效完成了500多项定制化需求交付,让客户50多个产品模块在迁移前后的体验和功能无缝延续。为了确保万无一失,进行了5轮全链路演练,制定了20多项应急预案。
更值得一提的是,为了满足GoTo的高可用需求,我们仅用5个月就在印尼建成了第三个可用区,为迁移提供了坚实的本地基础设施保障。
过去一年,是腾讯云在海外快速发展的一年。我们在日本大阪和沙特新建了可用区,并已在全球范围内设立9个技术支持中心,持续为本地客户提供卓越服务。同时,我们通过了400多项专业认证,为企业在安全合规的前提下稳健前行保驾护航。
全球化市场充满挑战,也蕴藏着无限机遇。对于正在或即将出海的中国企业而言,如何稳扎稳打、因地制宜,抓住AI技术浪潮驱动创新提效,是每一步都需要认真思考的课题。
腾讯云愿以扎实的准备和开放的心态,帮助全球企业用好云,陪伴中国企业走得更稳、更远。
谢谢大家。
新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。
责任编辑:李思阳 盛鹏优配
优配交易提示:文章来自网络,不代表本站观点。