端侧AI起飞,芯片行业的红利来了
两(liǎng)年(nián)前(qián),ChatGPT点(diǎn)燃(rán)了(le)全球(qiú)生(shēng)成(chéng)式(shì)AI技(jì)术(shù)研(yán)发(fā)热(rè)潮(cháo),端(duān)侧(cè)AI应(yīng)运(yùn)而(ér)生(shēng)。近(jìn)两(liǎng)个(gè)月(yuè)以(yǐ)来(lái),DeepSeek以(yǐ)开(kāi)源(yuán)之(zhī)姿(zī),再(zài)次(cì)在(zài)全球(qiú)人(rén)工(gōng)智(zhì)能(néng)领(lǐng)域掀(xiān)起(qǐ)一(yī)股(gǔ)AI新(xīn)潮(cháo)。在(zài)AI大(dà)潮(cháo)的(de)诸(zhū)多(duō)“弄(nòng)潮(cháo)儿(ér)”中(zhōng),端(duān)侧(cè)AI率(lǜ)先(xiān)冲(chōng)刺(cì),助(zhù)推(tuī)AI应(yīng)用(yòng)进(jìn)一(yī)步(bù)落(luò)地(de)。
就(jiù)在(zài)端(duān)侧(cè)AI发(fā)展(zhǎn)黄(huáng)金(jīn)期(qī)到(dào)来(lái)之(zhī)际(jì),作(zuò)为(wèi)硬(yìng)件(jiàn)基(jī)础(chǔ)的(de)芯(xīn)片(piàn),通(tōng)过(guò)算(suàn)力(lì)优(yōu)化(huà)和(hé)场(chǎng)景(jǐng)适(shì)配(pèi)成(chéng)为(wèi)其(qí)中(zhōng)的(de)核(hé)心(xīn)驱(qū)动(dòng)力(lì);与(yǔ)此(cǐ)同(tóng)时(shí),率(lǜ)先(xiān)布(bù)局(jú)的(de)相(xiāng)关企(qǐ)业(yè)将(jiāng)有(yǒu)望(wàng)吃(chī)到(dào)端(duān)侧(cè)AI爆(bào)发(fā)的(de)第(dì)一(yī)波(bō)红(hóng)利(lì)。
苹(píng)果(guǒ)M3 Ultra机(jī)型(xíng)可(kě)为(wèi)大(dà)语(yǔ)言(yán)模(mó)型(xíng)导(dǎo)入(rù)庞(páng)大(dà)数(shù)据(jù)集
端(duān)侧(cè)AI奏(zòu)响(xiǎng)“集结(jié)号(hào)”
近(jìn)期(qī),端(duān)侧(cè)AI在(zài)多(duō)领(lǐng)域落(luò)地(de)的(de)动(dòng)作(zuò)不(bù)断(duàn)。消(xiāo)费(fèi)电(diàn)子(zi)领(lǐng)域,联(lián)想(xiǎng)于(yú)2月(yuè)25日(rì)发(fā)布(bù)其(qí)AI PC新(xīn)品(pǐn)YOGA 2025系(xì)列(liè),本(běn)地(de)部(bù)署(shǔ)DeepSeek-7B,成(chéng)为(wèi)全球(qiú)首(shǒu)家(jiā)在(zài)终(zhōng)端(duān)设(shè)备(bèi)上(shàng)部(bù)署(shǔ)此(cǐ)规(guī)模(mó)大(dà)模(mó)型(xíng)的(de)厂(chǎng)商(shāng)。3月(yuè)5日(rì),苹(píng)果(guǒ)时(shí)隔(gé)两(liǎng)年(nián)重(zhòng)磅(bàng)更(gèng)新(xīn)的(de)Mac Studio配(pèi)备(bèi)了(le)全新(xīn)M3 Ultra和(hé)M4 Max芯(xīn)片(piàn)两(liǎng)个(gè)版(bǎn)本(běn),苹(píng)果(guǒ)宣(xuān)称(chēng) M3 Ultra 版(bǎn)本(běn) Mac Studio 支(zhī)持(chí)本(běn)地(de)部(bù)署(shǔ) 6000亿(yì)参(cān)数(shù)的(de)AI大(dà)模(mó)型(xíng)运(yùn)行(xíng)。此(cǐ)外(wài),近(jìn)日(rì)华(huá)为(wèi)的(de)AI PC也(yě)传(chuán)出(chū)新(xīn)消(xiāo)息(xi),预(yù)计(jì)其(qí)自(zì)研(yán)商(shāng)用(yòng)AI笔(bǐ)记(jì)本(běn)将(jiāng)在(zài)四(sì)月(yuè)发(fā)布(bù),除(chú)了(le)搭(dā)载(zài)全面(miàn)集成(chéng)的(de)DeepSeek大(dà)模(mó)型(xíng),其(qí)芯(xīn)片(piàn)及(jí)零(líng)部(bù)件(jiàn)或(huò)将(jiāng)实(shí)现(xiàn)全自(zì)研(yán)。
汽(qì)车(chē)领(lǐng)域,小(xiǎo)米(mǐ)SU7 Ultra于(yú)2月(yuè)27日(rì)上(shàng)市(shì),雷(léi)军(jūn)通(tōng)过(guò)微(wēi)博(bó)宣(xuān)布(bù)Xiaomi HAD端(duān)到(dào)端(duān)全场(chǎng)景(jǐng)智(zhì)驾(jià)开(kāi)启(qǐ)全量(liàng)推(tuī)送(sòng),小(xiǎo)米(mǐ)SU7 Ultra出(chū)厂(chǎng)即(jí)搭(dā)载(zài)该(gāi)智(zhì)驾(jià)系(xì)统(tǒng)。吉(jí)利(lì)在(zài)3月(yuè)3日(rì)的(de)AI智(zhì)能(néng)科(kē)技(jì)发(fā)布(bù)会(huì)上(shàng)宣(xuān)布(bù)完(wán)成(chéng)全域AI智(zhì)能(néng)化(huà)布(bù)局,其中阶跃星辰提供通用大模型技术,与吉利联合开源多模态交互框架,实现文本、语音、图像数据的融合理解。此外,吉利自研的超级智算中心2.0,算力资源超越万卡,综合算力达到23.5EFLOPS。
事实上,除了上述高热度的领域,端侧AI还在涉及面更加广阔的IoT等领域加速落地。例如,今年2月,深思考人工智能在全球开发者大会上正式发布鸿蒙系统TinyDongni& deepseek超小端侧多模态大模型及硬件模组,并联合国产模组厂商推出两大解决方案,一方面为车载、机器人等场景提供实时AI处理能力,另一方面赋能工业检测、AI摄像头等高精度场景。深思考创始人& CEO杨志明表示,超小端侧多模态大模型及硬件模组的发布,不仅是技术的突破,更是端侧AI普惠化的里程碑。未来将持续优化多模态交互能力,推动AI在医疗、工业、消费等领域的深度应用。
“得益于算力与模型优化,端侧人工智能的进步速度将呈现指数级跃升。”联想集团董事长兼CEO 杨元庆认为,两者进步的叠加效应有望在未来12个月实现3倍的整体性能提升。
联想三折叠AI PC概念机
高质量AI模型是普及关键
大模型纷纷部署于端侧之际,科技企业高调发力端侧AI,相关产品和应用纷纷上市。这背后的动作并不算新鲜,但根本动力却与以往大不相同。那么,端侧AI落地,时机是否已经成熟?
在AI百模大战的时代,焦点在云数据中心的集中式训练,但AI释放价值的关键更多在于推理。
“AI推理将从云端下沉到我们身边,无处不在。”Arm物联网事业部业务拓展副总裁马健告诉记者解释道,如果我们生活在连接带宽无限大、延时无限低、成本接近零的世界,那么AI部署在集中式数据中心是最有效的。但是这个假设并不成立,来自海量传感器、摄像头的视觉、声音等数据都回传到云端是不现实的,尤其是在对延时、隐私以及可靠性有严格要求的场景,边缘AI势在必行。
以DeepSeek为代表的开源模型,加速了AI从云走向端的进程,其带来的影响之一就是支持边缘设备,使得高性能AI应用能够在边缘设备上顺利运行。达摩院首席科学家、知合计算CEO孟建熠指出,大模型在云端的话,实施成本比较高,只有有限的企业可能在部分领域应用,而一旦到了端侧,就有大量的应用都会发展起来。
从目前的一些趋势来看,终端AI模型的质量、性能和效率正在显著提高。为此,高通高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉(Durga Malladi)以及市场资深经理Jerry Chang在其博文中(zhōng)从(cóng)以(yǐ)下(xià)四(sì)方(fāng)面(miàn)进(jìn)行(xíng)了(le)总(zǒng)结(jié)。
首(shǒu)先(xiān),当(dāng)前(qián)先(xiān)进(jìn)的(de)AI小(xiǎo)模(mó)型(xíng)已(yǐ)具(jù)有(yǒu)卓(zhuō)越(yuè)性(xìng)能(néng)。模(mó)型(xíng)蒸(zhēng)馏(liú)和(hé)新(xīn)颖(yǐng)的(de)AI网(wǎng)络(luò)架(jià)构(gòu)等(děng)新(xīn)技(jì)术(shù)能(néng)够在不影响质量的情况下简化开发流程,让新模型的表现超越一年前推出的仅能在云端运行的更大模型。其次,模型参数规模正在快速缩小。先进的量化和剪枝技术使开发者能够在不对准确性产生实质影响的情况下,缩小模型参数规模。第三,开发者能够在边缘侧打造更丰富的应用。高质量AI模型快速激增,意味着文本摘要、编程助手和实时翻译等特性在智能手机等终端上的普及,让AI能够支持跨边缘侧规模化部署的商用应用。第四,AI正在成为新的UI。个性化多模态AI智能体将简化交互,高效地跨越各种应用完成任务。
搭载瑞芯微SOC芯片的桌面机器人可作为智能家居的主控中心
芯片是新周期核心驱动力
虽然DeepSeek等大模型通过技术革新降低了端侧AI的门槛,但不足以构成端侧AI起飞的充分条件。作为硬件基础的芯片,通过算力优化和场景适配成为端侧AI落地的核心驱动力。
对于硬件玩家来说,端侧形态各异的设备与丰富应用,蕴藏着巨大的市场空间。为此,相关芯片企业争相在端侧AI领域布局。
大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。2月底,Arm发布新一代边缘AI计算平台Armv9,可运行超10亿参数的端侧AI模型。此外,Arm近日与阿里巴巴合作,通过 KleidiAI 与通义千问模型的集成,加速端侧多模态AI体验。多年前高通就已经为此做了准备。高通早在十五年前就开始在终端侧开展针对AI的研究,其AI引擎已迭代到第十代;去年3月推出AI HUB,帮助不同开发者优化模型,使其部署在不同平台上。
对于芯片企业而言,通过硬件创新推动端侧AI市场向上攀升的同时,也让自身吃到更多红利。以我国AIoT芯片领域的代表性企业瑞芯微为例,其在端侧AI方面可提供从0.2TOPs到6TOPs的不同算力水平的AIoT芯片。据悉,当前已有多个领域的客户基于瑞芯微主控芯片研发在端侧支持AI大模型的新硬件,如教育平板、AI 玩具、桌面机器人、算力终端、会议主机等产品。根据瑞芯微公布的2024年业绩预告,预计其2024年(nián)营(yíng)收(shōu)31亿(yì)元(yuán)到(dào)31.5亿(yì)元(yuán),同(tóng)比(bǐ)增(zēng)长(zhǎng)45.23%到(dào)47.57%;预(yù)计(jì)实(shí)现(xiàn)净(jìng)利(lì)润(rùn)5.5亿(yì)到(dào)6.3亿(yì)元(yuán),同(tóng)比(bǐ)增(zēng)长(zhǎng)307.75%到(dào)367.06%。业(yè)绩(jī)增(zēng)长(zhǎng)背(bèi)后(hòu),是(shì)AI技(jì)术(shù)快(kuài)速(sù)发(fā)展(zhǎn)、应(yīng)用(yòng)场(chǎng)景(jǐng)不(bù)断(duàn)拓(tà)展(zhǎn)对(duì)AIoT业(yè)务(wu)的(de)带(dài)动(dòng)。
业(yè)内人士向记者表示,端侧AI芯片的核心需求包括低功耗、高能效比和灵活适配多样化场景。伴随端侧AI发展黄金期的到来,芯片行业在推动AI应用普及的同时,将拥有更多成长机会。