财联社7月8日讯(记者 付静)大模型进入比拼应用落地阶段,“大模型+行业”受到业界关注。

财联社记者了解到,当前大模型在提供生成式内容能力和产品方面已相对成熟,比如问答、对话、写作、绘画等。大模型训练、推理、调用、部署均在云端完成,对算力(集群)规模、网络稳定性、能效等方面都提出极高要求,但未来要落地千行百业,走到线下物理世界,面对大量突发状况及时响应,就要求所有分析处理都在本地完成。目前,业内已经出现越来越多AI大模型迈向边缘、越来越多AI芯片向边缘设备扩展的趋势。

云天励飞董事长兼CEO陈宁:大模型落地场景,好用适用比“堆参数”更重要|财专访-编程日记

财联社记者最新获悉,基于边缘AI的发展趋势,云天励飞(688343.SH)制定了“2+3+3”边缘AI战略布局全景,即2个技术平台(多模态大模型、NPU加速计算平台),3类主营业务(智能硬件、智算运营、智慧行业),3个应用方向(个人Copilot、家庭Copilot、城市Copilot)。

WAIC 2024期间,云天励飞董事长兼CEO陈宁博士接受了财联社记者专访。陈宁认为,对于场景应用而言,适用和好用的体验,比“堆参数”更重要。“我们追求强大的AI,最终还是希望AI能够为人类服务。”他表示。

以下为采访实录:

财联社:现在关于边缘AI行业有没有一个比较统一的标准?云天励飞是怎么定义边缘AI的?

陈宁:目前行业对边缘AI还没有一个统一标准,我们的定义更多是一个广义概念。边缘AI是相对于AI来说的,尤其是云端大模型是不断地在scale up(注:指增加参数规模),对算力、模型参数需求越来越大,成本越来越高。我们认为,当前的这些大模型驱动的AI技术要落地应用,AI的计算能力要走到数据采集端和任务执行端。

边缘AI有三个特点,一是成本低,二是离用户近,三是离场景近。成本是边缘AI推动大模型落地的非常重要的优势,因为在边缘端可以用更低成本的芯片,更低、更小规模的模型来满足细分场景需求。此外,数据隐私保护和低时延也是边缘相对于云端大模型的差异化优势。

财联社:目前大模型遵循Scaling Law,对于边缘AI而言,我们是否需要一个新的定律?

陈宁:Scaling Law让通用大模型越变越大,需要的算力越来越多,通用的能力越来越强大,一般是在云端打造。但真正要把大模型的通用能力应用落地,要用分布式方式变成边缘AI。

在此背景下,边缘AI应该遵循Matching Law,就是找到适合场景应用落地的低成本解决方案和大模型细分场景能力,跟场景需求相匹配。我们认为落地应用过程中,尤其是边缘AI,匹配更加重要,而不是盲目地scaling up。

财联社:目前边缘AI发展到了哪个阶段?您预计边缘AI接下来的整体发展将是怎样的?

陈宁:技术方面,边缘AI趋势已经比较明显了,边缘AI的算法和芯片其实都在快速发展,并走向成熟。

一方面,各厂商也都开始在研究怎么把大模型压缩到适合应用场景的行业大模型或场景大模型,并进一步压缩成小模型。我们内部的1.8B视觉语义大模型,其实跟18B的更大规模的模型基本上性能参数已经相当了。

另一方面,芯片是边缘落地非常重要的技术载体。我们去年发布Edge 10边缘推理芯片,就实现了边缘大模型的高效推理,甚至可以在线做微调,并且可以低成本支撑国产的边缘AI芯片。

行业应用落地方面,我们认为边缘AI处在爆发前夜,主要是智能硬件和行业赋能这两个方向。我们认为行业成熟度在快速提升、市场需求也越来越强烈,中国对应用场景开放的重视,给边缘AI打开了一个非常大的市场。

智能硬件方面,很多更像是原生AI应用去颠覆和改造原有的一些智能硬件人机交互的形态,比如说可穿戴设备、物联网等等,这些智能硬件发展了10多年,其实没有真正大规模爆发,但是大模型通过边缘AI就会在未来两三年让可穿戴设备智能硬件等有一个全新的人机交互的变革,带来全新的体验,甚至打破过去15年智能手机对于智能硬件的压制和垄断。

另外一类边缘AI是在行业应用方面落地,比如智能制造、能源、交通等。很多生产制造类企业其实是不愿意把内部私有的行业数据拿到云端交给大模型云服务厂商,那就可以通过边缘AI来保护数据资产,然后又能比较低成本地去实现智能化制造。

财联社:您刚刚提到,边缘AI处在爆发前夜,爆发可能是在什么时间节点?

陈宁:其实边缘AI的发展从去年下半年就已经开始了,然后会有两三年的时间(实现爆发),预计2026年通过边缘AI来承载的大模型会无处不在。

财联社:您认为边缘AI要实现大规模应用落地,在哪些具体的方面还较为薄弱?

陈宁:一是数据质量。因为边缘AI模型还是要跟各场景的知识库相结合,各场景和行业知识库的数据质量是目前相对比较薄弱的一个环节,各行业包括我们很多的头部客户也开始关注这一点。二是国产边缘AI芯片的技术待攻关,我们也承担了国家多项技术攻关的专项,参与推动边缘AI芯片。

财联社:云天励飞走边缘AI计算技术路线,主要有哪些实际业务层面或需求层面的契机?通过哪些产品、环节或者业务来实现?

陈宁:边缘AI有三类应用场景,我们正在推广它的普及和落地,即面向个人的Copilot、面向家庭的Copilot、面向城市的Copilot。像AI PC、AI Phone、可穿戴设备都是个人Copilot智能硬件形态;面向家庭的Copilot,包括无人驾驶、低空经济eVTOL、人形机器人、智慧家居等;城市Copilot主要是能源、交通、教育、医疗、安防、商业等行业场景,以及城市治理、城市服务等。

个人认为,要把这些解决方案的智能等级,从过去原有的小模型时代的L2智能感知提升到L3机器决策,甚至L4机器执行,实现Copilot场景的业务价值的闭环,从而推动边缘AI。

财联社:据了解,云天励飞目前在大模型、芯片、行业解决方案、AI运营、AI硬件等方面都有较为全面的布局,去年以来,云天励飞也在投资收购一些细分领域的企业,可以说AI商业版图在不断扩充。投资并购企业的考量逻辑是什么?

陈宁:并购标的我们主要看两类,一类是智能硬件企业,一类是行业“小巨人”。我们认为,落地的两个主要赛道就是边缘AI赋能智能硬件的升级、落地到行业赋能,我们希望通过这两类标的的投资和并购来构建边缘AI的产业生态。

财联社:未来云天励飞对自身的定位是什么?

陈宁:我们希望打造中国边缘AI领域的领军企业,推动中国边缘AI产业生态的构建,赋能大模型落地的应用。

财联社:您之前在接受媒体采访时提到,AI商业化将经历AI的方案化、运营化、产品化三个阶段,目前国内的AI商业化到了哪个阶段?

陈宁:目前国内的AI商业化到了运营化逐步走向成熟、产品化已经开始启动的阶段。

可以说过去十年主要是方案化,AI公司基本上都在做各行各业的解决方案,随着大模型的推出,尤其是对于大模型训练和推理的平台能力需求的增加,所以智算运营成为过去两年行业的热点。

下一步,数据价值挖掘和服务也会逐步走向成熟。同时,AI智能硬件产品将在2-3年后迎来大爆发。

财联社:您怎么看目前国内AI大模型整体的落地进展?

陈宁:除了头部科研机构等寻求通用大模型能力上的突破之外,国内差异化的机会较多。国内有较好的互联网发展基础、丰富的场景、政府的支持实现应用落地,而应用可以反哺物理世界的知识,去形成应用生产数据、数据训练算法、算法定义芯片、芯片规模化推动应用的四位一体的数据飞轮,数据飞轮的速度和加速度、转动的效率是中国大模型应用落地、人工智能产业发展,甚至是通用人工智能技术进步的关键要素。中国应该走应用驱动技术进步的发展路径。