AI大模型带动存储变革 业界呼吁重视存力建设

2023-08-02 06:37:39 来源:21世纪经济报道 分享到:

眼下,AI大模型正重塑着千行百业,也包括与之息息相关的算力产业链。


【资料图】

在AI芯片屹立风口之时,业内对存储芯片、存储设备的关注度也直线上升,HBM(高带宽存储)、近存计算等概念大热。

大模型建立在数据和算力之上,而海量数据需要更强悍的存储性能,从而更好地释放算力,因此在大模型的推动下,存储产业正在新需求下升级变革。

近日,华为数据存储产品线总裁周跃峰就向记者谈到了存力的重要性:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。”

一直以来,计算、存储和网络被视为数据中心三大件,它们是关系紧密的有机体系,分别对应着算力、存力和运力。如今在算力蓬勃发展的同时,存力正越来越受到重视。近年来国内建设了诸多算力中心,现在的新趋势是开始建设大量的存力中心。

大模型面临的四大挑战

打造AI大模型是一个复杂的系统过程,其间面临着不少挑战。在华为看来,企业在开发及实施大模型应用过程中存在四大挑战。

首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右,这不利于系统的高效利用。

其次,如今大模型的规模越来越大,达到千亿甚至万亿的参数级,训练需要海量的计算资源和存储空间。比如多模态大模型以海量文本、图片为训练集,但是当前海量小文件的加载速度不足100MB/s,训练集加载效率低。

其三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天。

最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。比如,它需要非常专业的软件、硬件甚至是维护工程师来进行实施并进行后续的维护。

可以看到,大模型的到来,给数据和存储提出了新的要求。华为分布式存储领域副总裁韩振兴向21世纪经济报道记者表示:“在AI刚兴起的时候,针对小模型,很多客户会找一些服务器的本地盘来解决。但是随着大模型的兴起,需要一个外置的非常灵活扩展的存储。如果数据量载入过慢,会造成建设的算力都在闲置,所以需要一个不仅是外置的存储,而是一个极高性能的新品类和解决方案。”

为了解决这些瓶颈,头部的企业们已经开始牵头进行产业界合作。近期,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。

其中,前者是面向基础/行业大模型场景,支持96闪存盘,带宽可达400GB/s,IOPS达到1200万;后者面向行业大模型的训练、推理一体化的场景,集成了存储、网络、多样性的计算,降低企业使用AI大模型的门槛。目前,华为的存储产品已在国内的十大模型厂商得到部署,包括科大讯飞、中国科学院等。

据悉,目前全球高端的存储设备厂商主要有三家,分别是华为、戴尔EMC和日立。随着AI大模型日新月异,企业对于高端存储的需求也将更进一步,华为、戴尔、日立等也将在存储的顶级战场上展开新一轮竞争。

业界呼吁重视存力建设

周跃峰向21世纪经济报道记者算了一笔成本账单:在AI的大模型训练过程里,包括数据准备、接入实施等整体成本中,算力的成本占25%左右,即买服务器和GPU;数据准备、清洗与处理这些工作(包括人工)的成本大概占22%。

同时,周跃峰还举了一个例子来说明存储的重要性,由于英文的数字化记录资料远远多于中文,ChatGPT训练英文的效率比中文高很多。他表示,中国如果不重视存力,对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。

数据显示,预计2025年中国数据量将从7.6ZB增至48.6ZB,超过美国成为全球第一。当前,全球各国都在加快制定国家数据战略,其中,存储技术和产业成为共同关注的战略重点。

虽然AI算力中心不断兴起,但是中国工程院院士、中国科学院计算技术研究所研究员倪光南指出,目前普遍对算力的理解有片面性,广义算力不仅包括算力,还包括存力、运力。当前中国算力中心的存力相对不足,存在重算力轻存力的倾向。

韩振兴也表达了类似观点,他谈道,在算力和存力的建设有一个最佳的算存比,并不是靠推算力就能把AI做好。算力建设过多、存力建设过少,这会导致算力闲置,造成资源的浪费。所以一定要去重视存力,达到一个最佳的整体算存比。

当前国内的存储发展还跟不上数据量的增长。根据倪光南提及的一组数据,中国单位GDP的数据存储量只有美国70%左右,而人均数据存储量,美国是中国的9倍。美国为212GB/人,中国约为25GB/人,说明中国数据存储产业大有可为、前景广阔。

在业界呼吁关注存力建设的同时,国内在政策面也有了更多支持计划。为进一步加快推动我国算力高质量发展,日前工信部新闻发言人赵志国表示,将出台指导算力基础设施高质量发展的政策文件,加大高性能智算供给,加强先进存储产品部署,开展算力网络优化行动,加快构建云边端协同、算存运融合的一体化、多层次的算力基础设施体系。

标签:

AI大模型带动存储变革 业界呼吁重视存力建设

来源:21世纪经济报道 2023-08-02 06:37:39

国常会强调加快研究构建房地产新发展模式!房地产市场又会有哪些新信号?

来源:红星新闻 2023-08-02 05:13:17

小米10参数对比小米10pro

来源:互联网 2023-08-02 02:12:38

智云股份:第一大股东拟协议转让公司5.03%股份

来源:证券时报·e公司 2023-08-01 22:39:14

超强台风“卡努”不排除登陆浙江可能 多地强降雨不断

来源:中国新闻网 2023-08-01 22:04:06

福特探险者海外版谍照曝光:配备越野套件

来源:中关村在线 2023-08-01 21:09:57

捷途X70 PRO上市,10.29万起售,村超与汽车让人过“足”瘾!

来源:车市特评 2023-08-01 20:27:41

西媒:“全球南方”在世界上找到自身位置

来源:参考消息 2023-08-01 19:36:41

Uber美股盘前上涨逾5%

来源:和讯 2023-08-01 19:04:38

限时闪促 《SD高达G世纪》《仁王》抄底价

来源:游民星空 2023-08-01 18:30:12

押注细分赛道,零食巨头们能靠子品牌“渡劫”吗?

来源:AgeClub 2023-08-01 18:00:02

比亚迪销量那么好,为什么股价就是不涨?

来源:昭暄 2023-08-01 17:25:57

今日这些个股异动 主力抛售电力设备股

来源:第一财经 2023-08-01 16:52:35

骆岗公园探索全域感知智慧园区

来源:合肥晚报 2023-08-01 16:30:04

【天眼漫看】以青春之名 赴西部之约

来源:当代先锋网 2023-08-01 15:56:07

聚酯级乙二醇商品报价动态(2023-08-01)

来源:生意社 2023-08-01 15:03:40

交个朋友控股涨超8% 预期中期净利润不少于4000万元 上半年GMV超50亿元

来源:智通财经 2023-08-01 14:17:50

养殖板块午后震荡走弱 温氏股份跌超3%

来源:东方财富Choice数据 2023-08-01 13:37:50

36岁的卡瓦尼正式结束16年旅欧生涯!以自由转会...

来源:懂球帝 2023-08-01 12:59:19

栏杆高度规范要求2022(栏杆高度规范要求)

来源:互联网 2023-08-01 12:17:44

金至尊黄金价格今天多少一克(2023年08月01日)

来源:金投网 2023-08-01 12:01:04

李鸿章在德国首次见马克沁机枪,没有惊讶而是说了句话,让人心酸

来源:中华网热点新闻 2023-08-01 11:28:35

将来3周,四大生肖良缘心心相印,发财致富,东来紫气

来源:搜狐 2023-08-01 11:07:27

“漫步新华”活动开始报名啦,快来精彩一“夏”吧!

来源:上海长宁 2023-08-01 10:28:01

金融街(000402):武汉金融街集团有限公司2023年面向专业投资者非公开发行公司债券挂牌

来源:中财网 2023-08-01 10:14:10

2023年芜湖奥体中心暑期免费公益青少年体育培训活动指南

来源:本地宝 2023-08-01 09:45:04

爱包头作贡献|张丽:民有所呼 我有所应

来源:包头新闻网 2023-08-01 09:20:44

信捷电气(603416)7月31日主力资金净买入699.37万元

来源:证券之星 2023-08-01 08:44:33

第三届北京市体育旅游十佳精品项目推介会举行

来源:京报网 2023-08-01 08:12:05

隔夜外盘:美股三大指数微涨 热门中概股涨跌互现 小鹏汽车股价跌超10%

来源:东方财富Choice数据 2023-08-01 06:59:28

Copyright   2015-2022 南非知识产权网 版权所有  备案号:沪ICP备2022005074号-13   联系邮箱:58 55 97 3@qq.com