升级不加价!腾讯云存储面向AIGC全线升级,已服务80%头部大模型企业

AI百科3个月前发布 快创云
49 0

腾讯云AIGC云存储解决方案全面升级,助力大模型研发

  4月8日,腾讯云宣布其云存储解决方案针对AIGC(生成式AI)场景进行了全面升级,旨在为大模型的数据采集、清洗、训练、推理及数据治理提供高效支持。据数据显示,采用该解决方案后,大模型的数据清洗和训练效率均提升一倍,所需时间缩短一半。

  腾讯云存储总经理马文霜介绍,该解决方案由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成,是国内首个实现存储引擎全面自研的云存储解决方案。目前,已有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案,包括百川智能、智谱AI、元象等。

  在数据采集环节,腾讯云COS支持单集群管理百EB级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分满足大模型PB级别的海量数据采集需求。同时,随着训练数据和推理数据的增长,需要低成本的存储能力以减少存储开销。对象存储服务提供了12个9的数据持久性和99.995%的数据可用性,能够为业务提供持续可用的存储服务。

  在数据清洗环节,腾讯云通过自研数据加速器GooseFS提升数据访问性能,单次清洗任务耗时减少一半,单个文件读取速度提升10倍。在模型训练环节,腾讯云自主研发并行文件存储CFS Turbo,面向AIGC训练场景进行了专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS。在数据审核阶段,腾讯云一站式内容智理平台数据万象CI推出图片隐式水印、AIGC内容审核等功能,为数据生产业务全流程提供有力支撑。

  马文霜透露,目前国内80%的头部大模型企业都在使用腾讯云存储服务。此外,腾讯云智能存储产品总监叶嘉梁演示了MetaInsight的智能检索功能,如输入一张红裙舞者照片,即可在对象存储中找到对应的图片。

  腾讯云文件存储总监陆志刚解读了CFS Turbo的技术升级。CFS Turbo拥有并行客户端、智能缓存技术、自适应条带化以及分布式元数据四大核心技术,能提供业界第一的TiB/s级别总读写吞吐和百万OPS的每秒元数据性能。此外,在数据推理阶段,CFS Turbo可实现字节粒度强一致,保证数据一致性。

  今年1月,在沙利文联合头豹研究院发布的《2023年中国云存储解决方案市场报告》中,腾讯云存储入选“领导者”阵营,位列第一。随着大模型时代来临,AIGC场景对数据存储和处理的需求日益增长,腾讯云凭借其在云计算领域的深厚积累,推出了全面升级的AIGC云存储解决方案,为AI大模型提供更加高效、全面的支持。

© 版权声明

相关文章