效率起飞!天翼云并行文件服务HPFS高效应对AI时代大模型训练存储挑战!

2024-03-08 10:42:23     来源:

国内外AI大模型层出不穷,训练数据复杂程度更是呈指数级增加。如今,在万亿级参数时代,单个资源池已无法满足大模型训练场景中动辄PB级的数据存储量,对于企业来说,启用多个资源池构成的分布式存储势在必行。

为了应对AI大模型训练对数据存储的需求,天翼云推出并行文件服务HPFS(CT-HPFS,High Performance File Storage),旨在为AI时代提供高性能存储底座,助力企业构建基于云资源的、更高效的大型模型训练平台,实现大模型的连续训练。天翼云HPFS可通过分布式存储实现数据的并发读取,同时提供最高百万IOPS和百GBPS的吞吐能力,显著提升了数据的读取速度,从而大大提升GPU卡的利用率,为提升HPC和AI等场景的训练效率赋能。

天翼云HPFS为AI场景的数据训练提供高并发、低延时、高吞吐的存储解决方案:

高并发,天翼云HPFS在保证文件一致性的前提下,将数据分布存储在多个节点上,通过分布式锁机制,实现多客户端同时对同一文件的不同部分进行读写,显著提升并发性能,单客户端的单流IO性能可提升200%以上,并发访问同一文件的性能提升300%以上。

低延迟,天翼云HPFS采用 RDMA(Remote Direct Memory Access,远程直接内存访问)技术,同时支持通过InfiniBand、RoCE和TCP/IP进行数据交互,大幅降低了网络传输的延迟,提高数据传输的效率,实现高速互联。

高吞吐,天翼云HPFS基于 NVMe 存储架构做出深度优化,能够充分释放SSD性能,显著提高了吞吐量等性能表现;基于并发传输通道的并行访问,增强了服务器处理高并发请求的能力。更重要的是,随着节点规模的增加,系统性能可实现线性增长。

基于多重优势能力,天翼云HPFS可为自动驾驶、智能客服、工业制造、基因测序、语音导航、AI训练等场景,提供高性能并行文件存储底座。

凭借卓越的技术实力,天翼云HPFS在 “华彩杯”算力应用创新大赛中,荣获一等奖,代表着业界对天翼云HPFS创新能力的充分肯定。

作为云服务国家队,天翼云将继续坚持科技创新,以满足高性能计算场景存储需求为己任,不断提升产品的性能和可靠性,为客户打造高性能存储底座,持续为大模型产业发展提质增速。

标签:

猜你喜欢

技术突破与引领,中国品牌安吉尔扬帆出海
云游戏市场或现增长拐点,浮点智算成一站式云服务行业新标杆
探索前沿 测试为先
BOYA麦克风,吴昕力荐之选,38节活动引爆关注
卡游推出新款典藏卡,乌合麒麟经典画作《观星》实体化呈现
倍他强怎么样?从根源滋补,守护男性健康
蓝色光标获颁“小红书2024年度商业化跨境营销代理商”牌照
7.4亿次浏览!姑娘们都迷上了这事,据说现在很流行!
挖到人少景美的江苏小城,竹海、湖泊、茶园,超适合清明五一去打卡
“科技小红书”来了
报名开启丨掘金海外,探寻泛娱乐社交APP出海新风口
创新要靠技术硬实力 三星Galaxy Z Flip5再度拉高体验标准
抖音电商马面裙、汉服订单量倍增,女性消费推动国潮、非遗传承
真我realme成最具质价比品牌,联合小当回收以旧换新最高省2000
抢占先机,创新出海丨Flat Ads邀您共话AI+未来式工具创新增长!
“人工智能+”在行动 万兴天幕助力音视频产业智能化提速
鲜花、户外等产品销量翻倍,女性消费带动抖音电商产业带蓬勃发展
鲜花、户外等产品销量翻倍,女性消费带动抖音电商产业带蓬勃发展
为网友撑起心愿的伞——抖音“最听劝老板”再上央视
鲁大师2月新机性能/流畅/AI/久用榜:魅族推出“传统智能手机”谢幕之作
飞连重构金赛药业安全边界,实现效率、安全双提升
小红书代运营全攻略:从0到1打造爆款内容
招聘与地图场景互联,智联招聘携手百度地图让招聘更快更有效
正泰新能出席迪拜NET ZERO MEA 2024,共议光伏与储能未来
康迈Nmotion™ TR 160-45荣获 HDT Top 20产品奖
思杰马克丁与CorelDRAW共同庆祝2024中文版发布
360亿方云智能文档云发布,点亮大模型时代之光
过去一年《额尔古纳河右岸》在抖音电商售出250万本,七成被女性读者买走
成都机器人创新中心正式启用,创新奇智引领AI与制造业融合新模式
大国品牌贝因美,用飞连全面落地“零信任”