智东西12月6日报谈，为期两天的2024中国生成式AI大会（上海站）当天圆满收官。

两天内，51位产学研投嘉宾代表密集输出干货爆棚，大会报名商议东谈主数超4000东谈主，越过1200位不雅众到场参会。其中，在主会场进行的大模子峰会、AI Infra峰会的线上不雅看东谈主次更是越过104万。

现场参会不雅众们的关注十分激越，主会场、分会场座无隙地，展览区隔邻的产业换取也十分活跃，15家企业的诸多新家具新本领都引起了凡俗关注和筹办。

▲大会展区

这次大会以“智能跃进 创造无尽”为主题，51位产学研投嘉宾代表基于前瞻性视角解构和把脉生成式AI的本领家具创新、交易落地解法、畴昔趋势走向与前沿计划焦点。

今天的AI Infra峰会上，副教授、无问芯穹联合首创东谈主兼首席科学家戴国浩以为，业界更应该关注单元算力若何竣事更高效的token微辞，大模子推行可用算力不仅取决于芯片表面算力，还可通过软硬协同优化提高算力利用遵循，通过多元异构适配放大举座算力领域。

北电数智智算云负责东谈主郭文，GMI Cloud亚太区总裁King.Cui，阿里云智算集群家具处置决议负责东谈主丛培岩，中昊芯英芯片软件栈负责东谈主朱国梁，光羽芯辰首创东谈主兼董事长周强分离对全栈AI工场、AI企业出海若何补都算力短板、高性能智算集群、国产TPU芯片“No CUDA”软件栈、通向个东谈主大模子之路几个主题进行了分享。

枫清科技首创东谈主兼CEO高雪峰，声网生成式AI家具负责东谈主毛玉杰，腾讯云向量数据库本领负责东谈主谢宇，Jina AI联合首创东谈主兼首席本领官王楠，Zilliz结伙东谈主、研发VP栾小凡，英飞流首创东谈主兼CEO张颖峰，Alluxio首席架构师父正佳分离针对“从数据到常识：AI重塑百行千业的基石”、“生成式AI驱动实时互动的本领变革与体验蜕变”、“TencentVDB向量数据库”、“RAG范式下AI Infra的机遇和挑战”、“RAG虽强，但向量数据库绝非万妙药”、“新一代企业级多模态RAG引擎”、“高性能AI数据底座”带来了精彩演讲。

下昼场的圆桌筹办聚焦“大模子行至深水区，AI Infra的新变化与新契机”，由德联老本奉行董事刘景媛主抓，Alluxio首席架构师父正佳，Zilliz结伙东谈主、研发VP栾小凡，英飞流首创东谈主兼CEO张颖峰三位嘉宾给出了我方的真知卓见。

大会首日，17位嘉宾泛论大说话模子、多模态大模子、具身智能、AI原生应用、音乐生成、3D AIGC、AI智能体的行业应用、垂类行业大模子等前沿议题。

除了大会首日主会场进行的大模子峰会，以及今上帝会场的AI Infra峰会，大会分会场也在这两天分离组织了端侧生成式AI本领议论会、AI视频生成本领议论会与具身智能本领议论会，17位后生学者和本领民众带来了答复分享，后续将会上架这三场收费制议论会的回放。

一、从智算集群到原生加快本领栈，聚焦产业落地痛点打破大模子算力瓶颈

AI的发展带来了巨大的数据、算力以及动力挑战，动作支援大模子运行以及生成式AI应用征战的要害，AI Infra也走到了台前，发展势头刚劲。

若何打造优质的智算中心，若何竣事AI从芯片到应用端全产业链的高效协同？多位嘉宾给出了我方的深刻视力。

1、上海交通大学副教授、无问芯穹联合首创东谈主兼首席科学家戴国浩

Scaling Law之下，数据成为制约AI连接发展的身分之一。以GPT-o1为代表的推理模子不错打破数据瓶颈，但计较范式的转念使算力需求呈指数级增长，可能导致硬件系统能耗支出供不应求，对行业的可抓续发展组成挑战。

对此，戴国浩教授指出，当下业界更应该关注单元算力若何竣事更高效的token微辞，让大模子的推行可用算力不仅取决于芯片表面算力，还可通过软硬协同优化提高算力利用遵循，并通过多元异构适配放大举座算力领域。他分享了其计划团队在软硬协同、多元异构与端侧智能方面的计划进展与落地扫尾，这些扫尾能助力行业擢升面向大模子场景的token微辞遵循。

2、北电数智郭文：以AI工场填补国产算力供给侧与需求侧的产业链断层

“产业要发展，创新不可仅仅停留在本领层面，更要从历程、系统和组织进行全面的创新。”北电数智智算云负责东谈主郭文分享了从算力、算法、数据与生态方面全面构建东谈主工智能时间AI坐褥线的实践念念考。

郭文称，当下国产芯片落地东谈主工智能产业的最大问题是，算力供给侧与需求侧之间存在产业链断层。为此，北电数智推出首个“国产算力PoC平台”，以北京数字经济算力中心为载体打造具备全栈才智的AI工场，全线适配与拉通场景、模子到芯片层面，鼓动智算中心从成本中心转动为鼓动地区发展新质坐褥力中心。

3、GMI Clould King.Cui：高褂讪GPU集群成AI企业公共化布局要害

中国AI出海加快，算力动作其中的中枢坐褥贵寓正领略遑急作用。高褂讪性的GPU集群能降本增效，匡助企业在AI公共化海浪中取胜。

GMI Cloud亚太区总裁King.Cui提到，为确保GPU集群的高褂讪性，他们使用了具备主动检测功能的自研云集群引擎，竣事计较、存储和收集资源的高效调配。

GMI Cloud是NVIDIA Top10 NCP，托福前会进行严格的考证历程。GMI Cloud与IDC和洽，提供备件和维修，领有更短的托福时期，确保停机时期最小化。

4、阿里云丛培岩：灵骏智算集群不仅要竣事褂讪性和极致性能，更要在不同维度支抓领域的极致推广

阿里云智算集群家具处置决议负责东谈主丛培岩展望，畴昔模子性能还会随参数，数据集和算力的增长连接擢升，Scaling Law仍有增漫空间，AI智算集群的野心范式转向要以GPU为中枢。

阿里云推出支抓超大领域漫衍式历练的灵骏智算集群，可达到10万卡推广领域，千卡领域线性加快比达到96%；阿里云自研磐久奇迹器接收CPU和GPU分离，竣事单机擢升至16颗GPU；收集架构HPN7.0最大领域可结合10万颗GPU。

智算集群褂讪性至关遑急，阿里云3千卡领域智算集群，在一个月内褂讪历练时长占比达99%。

5、光羽芯辰周强：处置“大模子不懂你”问题，个东谈主大模子迎来机遇

动作与通用大模子、行业大模子、企业大模子并行发展的一大分支，个东谈主大模子也干与了快速发延期。光羽芯辰首创东谈主兼董事长周强称，个东谈主大模子处置的是“大模子不懂你”的问题，随入辖下手机、PC、可穿着、XR等端侧建筑厂商All in AI，个东谈主大模子之路将越走越宽。

他提到，个东谈主大模子也称为端侧大模子，期待处置端侧智能体在性能、功耗和成本方面的痛点，让果然的AI手机走进糊口。端侧AI具备实时性、可靠性、成本低、诡秘保护和定制化五大优势。当今，构建端侧大模子的中枢是处置存储带宽和容量双重问题。

6、中昊芯英朱国梁：国产TPU芯片“No CUDA”软件栈的构建实践

中昊芯英芯片软件栈负责东谈主朱国梁先容了他们在为国产TPU芯片构建“No CUDA”软件栈的实践造就。

中昊芯英一瞬芯片接收VLIW提示集架构，面对庞杂的CUDA生态，他们一一处置了库、并行计较与编程方面的问题，全自研用户态和内核态驱动，竣事了芯片的高效治理。

为作念好生态兼容，中昊芯英底层软件栈兼容PyTorch以及总共主流训推框架，当今，中昊芯英可提供定制的端到端的云智算处置决议，并支抓国产操作系统。

二、从企业智能体、向量数据库到RAG，AI Infra基础软件流露诸多新挑战

下昼场，多位嘉宾进一步分享了AI Infra领域对于智能体征战治理平台、实时语音、向量数据库、向量模子、RAG本领、数据编排等方面的行业不雅察和深刻视力。诸多新平台、新家具、新本领走上前台，赋能产业。

1、枫清科技高雪峰：从数据到常识，向上生成式AI与决策智能间的鸿沟

枫清科技首创东谈主兼CEO高雪峰谈谈，要将生成式AI果然应用到企业决策场景中，弥合其与决策智能之间鸿沟的本领打破点，等于在推理框架侧和会象征逻辑推理。

企业智能化落地需要濒临数据孤岛、数据整合、常识校验、数据实时效等本领挑战。枫清科技不错为企业提供常识引擎与大模子双轮驱动的新一代智能体平台，通过构建全链路优化体系，匡助企业擢升数据质料，将企业腹地数据常识化，并和会大模子千里淀的泛化才智，在常识收集之上进行象征逻辑推理，竣事可讲明的智能，进而使AI在多个场景下能够竣事精确、透明的决策支抓，鼓动企业智能化转型的胜利实施。

2、声网毛玉杰：生成式AI+实时互动，让东谈主机交互变成果然的心灵交互

声网生成式AI家具负责东谈主毛玉杰诠释了生成式AI出现后实时互动（RTE，Real-Time Engagement）本领和体验的变迁。

毛玉杰先容，2014年于今十年，RTE从奇迹质料走向体验质料；2025年开动，在生成式AI发展的配景下，RTE向AI RTE变革，开动防御跨模态体验质料，作念多模态交互、跨模态退换，为东谈主和模子而野心，给大模子厂商提供眼睛、耳朵和声息才智。

毛玉杰说，当今东谈主机对话依然达到“听得懂”的景况，期待下一步竣事“听得心”——让东谈主机交互变成果然的心灵交互。

3、腾讯云谢宇：向量数据库助力企业挖掘更大数据价值

AI时间，向量数据库（VDB）脱颖而出，成为结合结构化与非结构化数据的关节。可是，当VDB被专揽于RAG场景时，多款开源RAG架构出现了调回率低的问题。

腾讯云向量数据库本领负责东谈主谢宇先容，为处置上述挑战，腾讯最初擢升了复随笔档的识别效果，并对数据处理、Embedding、检索、纪念等其他模范进行优化，最终竣事了90%以上的调回率。

腾讯自研向量检索引擎OLAMA已上线5年，日均处理8500亿次检索苦求。畴昔，他们还将在性能、成本、业务效果、容灾率等方面发力，抓续擢升家具发达。

4、Jina AI王楠：长文本大模子、RAG遥远共存，长窗口向量模子濒临两大挑战

大模子存在幻觉、无法保证稀少数据安全、推理成本高三大问题，Jina AI联合首创东谈主兼首席本领官王楠以为，RAG恰是通过削弱大模子生成范围，保证检索准确性、竣事扫尾可溯源，是以长本文大模子不会取代RAG，二者将遥远共存。

短窗口会导致波折文配景信息丢失，因此RAG需要长窗口向量模子支抓。但长窗口向量模子濒临两大挑战，一是推理成本和内存破钞会随窗口长度呈平日线性增长，分享GPU是处置念念路之一；二是长窗口使模子无法完好默示细颗粒度语义，解法是加多向量维度和多向量默示。

5、Zilliz栾小凡：向量数据库落大地临成本及推广性挑战，RAG转为Graph RAG

Zilliz结伙东谈主、研发VP栾小凡分享了向量数据库当今濒临的挑战以及相应处置决议。

栾小凡称，2025年重生成的数据中，将会有80%以上曲直结构化数据。在这一数据压力下，向量数据库的落大地临着成本以及推广性等方面的种种挑战。而当今的RAG存在搜索质料难、处理长尾查询才智差、扫尾难以讲明和罢休、向量存储成本高级问题。

据此，栾小凡极度团队刻薄了两个处置念念路：一是羼杂查询，在单个系统内支抓密集镶嵌、疏淡镶嵌和词汇搜索；二是Graph RAG，将常识图谱和向量检索结合起来。

6、英飞流张颖峰：多模态RAG新范式

英飞流首创东谈主兼CEO张颖峰以为，RAG动作LLM时间的数据库，当今濒临着三大挑战——多模态文档处理、检索、语义鸿沟。

针对第一个问题，英飞流历练了深度文档筹办模子，能对复随笔档中的多模态内容进行分类处理。而在检索这一RAG“终末一公里”的问题上，英飞流使用三路调回决议，并加多张量索引进行重排序，这一决议在多模态RAG上展现出显然优势。

终末，针对检索过程中的语义鸿沟，英飞流使用GraphRAG抽取常识图谱，并与原数据进行联合检索，擢升检索质料。

7、Alluxio傅正佳：零改良、无侵入战略，打造高性能AI数据底座

Alluxio首席架构师父正佳谈到了擢升大领域模子历练遵循的两大挑战：一是数据领域不停增长、类型更多元化，因此处理数据需要擢升算力有用利用率；二是当数据喂到历练平台上，数据IO走访瓶颈会导致算力处于低利用率景况。

这一配景下，Alluxio提供了调处的数据视图、丰富公约转动、高性能数据走访，以打造举座数据奇迹。其决议通过零改良、无侵入战略，不错使算法工程师仍按原有方式使命，无需改变已有剧本，何况客户依然有的大都存量数据不需要进行稀少化公约改良。

三、AI 2.0时间，大模子行至深水区，AI Infra迎来变革

在圆桌论坛模范，几位嘉宾分享了对于“大模子行至深水区，AI Infra的新变化与新契机”这一主题的行业洞悉，以及各自公司的家具和本领是若何处置AI应用中的核肉痛点的。

动作主抓东谈主的德联老本奉行董事刘景媛提到，两年前，ChatGPT将生成式AI推到台前，迎来AI 2.0时间，Scaling Law和数据量的大领域增长给AI Infra带来了相称大的增量契机。两年后的今天大模子行至深水区，AI Infra在匡助大模子及相干家具的落地的过程中，家具范围和功能需求迟缓了了。

▲刘景媛

对于Infra这类研发周期长、工程复杂进程高的软件家具，开源社区能够不错孝敬一些能量，使家具迭代及本领选型更贴合推行需求，同期擢升花样自己的关注度和影响力。

另外，“go global”也险些成为Infra软件的必选项，一方面有交易的考量，另外中国工程师的死力和工程攻坚才智公共有目共睹。值得关注的是，在资源有限的情况下也要作念好采选（无论是功能方面照旧业务模式方面）。

Zilliz动作向量数据库企业，其家具不错处理大体量非结构化数据，挖掘数据价值。对AI 2.0时间的需求变化，Zilliz结伙东谈主、研发VP栾小凡以为，AI本领在客岁被高估、本年被低估，往后看AI落地还需要等一个契机，这亦然总共这个词范式的发展契机。

谈到开源，栾小凡感触谈，Zilliz当今正处于最具挑战的阶段，一方面要让家具闲隙客户需求，另一方面要让家具变现。

▲栾小凡

当下，AI Infra公司出海依然成为必答题。栾小凡以为出海的前提条目等于家具要有先发优势，在推广性、功能等方面碾压竞品。家具定制方面，栾小凡的不雅点是Zilliz险些不作念定制。原因在于其所处的赛谈依然填塞大，莫得必要执着于将我方打酿成大而全的平台。

AI时间，数据量的暴增对存储刻薄巨大挑战。Alluxio首席架构师父正佳先容，他们通过漫衍式数据编排软件系统，高效结合存储与计较。Alluxio很早就提神到存算分离的趋势，并在数据而已走访模范重心发力，修起了AI存储挑战。

Alluxio的存储系统兼具开闭源版块，傅正佳以为开源匡助他们保抓了与本领前沿的同步，也打出了著名度，但他们也濒临着交易化和部分开源用户孝敬进程低的问题。Alluxio当今正积极出海，傅正佳分享，海表里团队的优势互补与家具的腹地化是其中的要害。

▲傅正佳

英飞流首创东谈主兼CEO张颖峰称，RAG用起来很容易，但作念好相称辛勤。公司能作念成RAG的中枢在于，把作念系统的东谈主和作念AI的东谈主和会在了沿途去作念家具。

谈及开源，张颖峰说，开源是交易化的一种战略，而不是为了开源而开源；为了出海必须开源，但创业第一天就要想理会家具企业版和征战者版之间的区别。

▲张颖峰

当今英飞流的Infra家具还莫得干与交易化阶段，结合过往创业经验，张颖峰称，交易化过程中，首创东谈主必须对每个家具的特点和定制化的范围有相称澄澈的意志。

结语：生成式AI产业化落地加快，上中下流全产业链招呼合作共赢

畴昔一年，生成式AI的发展渡过了波涛壮阔的一年，总共这个词产业链成为公共创新、投资和应用最活跃的领域之一，每位参与者都在与时期竞走。

Sora掀翻视频生成飞扬，多模态宇宙模子的计划热度渐起。更具蜕变性的推理模子o1悄然出世，基座大说话模子不再抓续狂飙，不仅价钱战、营销战硝烟燃起，融资热度降温，Scaling Law是否撞墙更是在年底激发烧议。

行业赋能抓续进行，包括智能体在内的应用层的兴起仍然备受期待。同期，大模子向边端下千里的趋势日趋显然，AI手机、AI PC等AI硬件纷纷站优势口。不啻AI硬件，大模子驱动下的具身智能更是热度空前，东谈主形机器东谈主正开启星辰大海。

动作智能产业的遥远不雅察者，咱们期待见证并记载中国生成式AI海浪之变，并将抓续邀请这股海浪中的新力量们，分享他们最新的本领进展与交易化探索。

跟着当天为期两天的2024中国生成式AI大会（上海站）圆满收官。2025年线下大会也将安妥启动，除了1月14日的公共自动驾驶峰会，围绕AI芯片、生成式AI等领域的线下大会也已标的上了，敬请期待。