详情

智东西12月6日报谈开云体育，为期两天的2024中国生成式AI大会（上海站）本日圆满收官。

两天内，51位产学研投嘉宾代表密集输出干货爆棚，大会报名商议东谈主数超4000东谈主，卓越1200位不雅众到场参会。其中，在主会场进行的大模子峰会、AI Infra峰会的线上不雅看东谈主次更是卓越104万。

现场参会不雅众们的存眷十分抖擞，主会场、分会场济济一堂，展览区隔邻的产业相似也十分活跃，15家企业的诸多新产物新时间都引起了无为关注和筹商。

▲大会展区

这次大会以“智能跃进 创造无尽”为主题，51位产学研投嘉宾代表基于前瞻性视角解构和把脉生成式AI的时间产物创新、生意落地解法、改日趋势走向与前沿筹商焦点。

今天的AI Infra峰会上，副诠释、无问芯穹联合创举东谈主兼首席科学家戴国浩以为，业界更应该关注单元算力怎样扫尾更高效的token微辞，大模子实质可用算力不仅取决于芯片表面算力，还可通过软硬协同优化提高算力利用着力，通过多元异构适配放大合座算力范围。

北电数智智算云负责东谈主郭文，GMI Cloud亚太区总裁King.Cui，阿里云智算集群产物贬责决策负责东谈主丛培岩，中昊芯英芯片软件栈负责东谈主朱国梁，光羽芯辰创举东谈主兼董事长周强分歧对全栈AI工场、AI企业出海怎样补皆算力短板、高性能智算集群、国产TPU芯片“No CUDA”软件栈、通向个东谈主大模子之路几个主题进行了分享。

枫清科技创举东谈主兼CEO高雪峰，声网生成式AI产物负责东谈主毛玉杰，腾讯云向量数据库时间负责东谈主谢宇，Jina AI联合创举东谈主兼首席时间官王楠，Zilliz联合东谈主、研发VP栾小凡，英飞流创举东谈主兼CEO张颖峰，Alluxio首席架构师父正佳分歧针对“从数据到常识：AI重塑百行千业的基石”、“生成式AI驱动实时互动的时间变革与体验鼎新”、“TencentVDB向量数据库”、“RAG范式下AI Infra的机遇和挑战”、“RAG虽强，但向量数据库绝非万仙丹”、“新一代企业级多模态RAG引擎”、“高性能AI数据底座”带来了精彩演讲。

下昼场的圆桌筹商聚焦“大模子行至深水区，AI Infra的新变化与新契机”，由德联本钱推论董事刘景媛主执，Alluxio首席架构师父正佳，Zilliz联合东谈主、研发VP栾小凡，英飞流创举东谈主兼CEO张颖峰三位嘉宾给出了我方的灼见真知。

大会首日，17位嘉宾泛论大言语模子、多模态大模子、具身智能、AI原生应用、音乐生成、3D AIGC、AI智能体的行业应用、垂类行业大模子等前沿议题。

除了大会首日主会场进行的大模子峰会，以及今上帝会场的AI Infra峰会，大会分会场也在这两天分歧组织了端侧生成式AI时间琢磨会、AI视频生成时间琢磨会与具身智能时间琢磨会，17位后生学者和时间群众带来了答复分享，后续将会上架这三场收费制琢磨会的回放。

一、从智算集群到原生加快时间栈，聚焦产业落地痛点冲破大模子算力瓶颈

AI的发展带来了巨大的数据、算力以及动力挑战，手脚撑执大模子运行以及生成式AI应用诱骗的关键，AI Infra也走到了台前，发展势头强健。

怎样打造优质的智算中心，怎样扫尾AI从芯片到应用端全产业链的高效协同？多位嘉宾给出了我方的真切认识。

1、上海交通大学副诠释、无问芯穹联合创举东谈主兼首席科学家戴国浩

Scaling Law之下，数据成为制约AI无间发展的身分之一。以GPT-o1为代表的推理模子不错冲破数据瓶颈，但计较范式的搬动使算力需求呈指数级增长，可能导致硬件系统能耗支拨供不应求，对行业的可执续发展组成挑战。

对此，戴国浩诠释指出，当下业界更应该关注单元算力怎样扫尾更高效的token微辞，让大模子的实质可用算力不仅取决于芯片表面算力，还可通过软硬协同优化提高算力利用着力，并通过多元异构适配放大合座算力范围。他分享了其筹商团队在软硬协同、多元异构与端侧智能方面的筹商进展与落地着力，这些着力能助力行业擢升面向大模子场景的token微辞着力。

2、北电数智郭文：以AI工场填补国产算力供给侧与需求侧的产业链断层

“产业要发展，创新不可仅仅停留在时间层面，更要从过程、系统和组织进行全面的创新。”北电数智智算云负责东谈主郭文分享了从算力、算法、数据与生态方面全面构建东谈主工智能时期AI分娩线的现实念念考。

郭文称，当下国产芯片落地东谈主工智能产业的最大问题是，算力供给侧与需求侧之间存在产业链断层。为此，北电数智推出首个“国产算力PoC平台”，以北京数字经济算力中心为载体打造具备全栈才调的AI工场，全线适配与拉通场景、模子到芯片层面，股东智算中心从成本中心升沉为股东地区发展新质分娩力中心。

3、GMI Clould King.Cui：高相识GPU集群成AI企业寰球化布局关键

中国AI出海加快，算力手脚其中的中枢分娩贵寓正阐扬蹙迫作用。高相识性的GPU集群能降本增效，匡助企业在AI寰球化波澜中取胜。

GMI Cloud亚太区总裁King.Cui提到，为确保GPU集群的高相识性，他们使用了具备主动检测功能的自研云集群引擎，扫尾计较、存储和收罗资源的高效调配。

GMI Cloud是NVIDIA Top10 NCP，委派前会进行严格的考据过程。GMI Cloud与IDC归拢，提供备件和维修，领有更短的委派时期，确保停机时期最小化。

4、阿里云丛培岩：灵骏智算集群不仅要扫尾相识性和极致性能，更要在不同维度支执范围的极致扩张

阿里云智算集群产物贬责决策负责东谈主丛培岩量度，改日模子性能还会随参数，数据集和算力的增长无间擢升，Scaling Law仍有增漫空间，AI智算集群的遐想范式转向要以GPU为中枢。

阿里云推出支执超大范围散布式考验的灵骏智算集群，可达到10万卡扩张范围，千卡范围线性加快比达到96%；阿里云自研磐久就业器采用CPU和GPU分离，扫尾单机擢升至16颗GPU；收罗架构HPN7.0最大范围可联接10万颗GPU。

智算集群相识性至关蹙迫，阿里云3千卡范围智算集群，在一个月内相识考验时长占比达99%。

5、光羽芯辰周强：贬责“大模子不懂你”问题，个东谈主大模子迎来机遇

手脚与通用大模子、行业大模子、企业大模子并行发展的一大分支，个东谈主大模子也过问了快速发延期。光羽芯辰创举东谈主兼董事长周强称，个东谈主大模子贬责的是“大模子不懂你”的问题，随入辖下手机、PC、可穿着、XR等端侧栽植厂商All in AI，个东谈主大模子之路将越走越宽。

他提到，个东谈主大模子也称为端侧大模子，期待贬责端侧智能体在性能、功耗和成本方面的痛点，让信得过的AI手机走进生计。端侧AI具备实时性、可靠性、成本低、秘籍保护和定制化五大优势。现在，构建端侧大模子的中枢是贬责存储带宽和容量双重问题。

6、中昊芯英朱国梁：国产TPU芯片“No CUDA”软件栈的构建现实

中昊芯英芯片软件栈负责东谈主朱国梁先容了他们在为国产TPU芯片构建“No CUDA”软件栈的现实教化。

中昊芯英一瞬芯片采用VLIW提醒集架构，面对浩大的CUDA生态，他们一一贬责了库、并行计较与编程方面的问题，全自研用户态和内核态驱动，扫尾了芯片的高效经管。

为作念好生态兼容，中昊芯英底层软件栈兼容PyTorch以及悉数主流训推框架，现在，中昊芯英可提供定制的端到端的云智算贬责决策，并支执国产操作系统。

二、从企业智能体、向量数据库到RAG，AI Infra基础软件表露诸多新挑战

下昼场，多位嘉宾进一步分享了AI Infra领域对于智能体诱骗经管平台、实时语音、向量数据库、向量模子、RAG时间、数据编排等方面的行业不雅察和真切认识。诸多新平台、新产物、新时间走上前台，赋能产业。

1、枫清科技高雪峰：从数据到常识，向上生成式AI与决策智能间的鸿沟

枫清科技创举东谈主兼CEO高雪峰谈谈，要将生成式AI信得过应用到企业决策场景中，弥合其与决策智能之间鸿沟的时间冲破点，等于在推理框架侧和会符号逻辑推理。

企业智能化落地需要面对数据孤岛、数据整合、常识校验、数据实时效等时间挑战。枫清科技不错为企业提供常识引擎与大模子双轮驱动的新一代智能体平台，通过构建全链路优化体系，匡助企业擢升数据质地，将企业土产货数据常识化，并和会大模子千里淀的泛化才调，在常识收罗之上进行符号逻辑推理，扫尾可解释的智能，进而使AI在多个场景下能够扫尾精确、透明的决策支执，股东企业智能化转型的顺利实施。

2、声网毛玉杰：生成式AI+实时互动，让东谈主机交互变成信得过的心灵交互

声网生成式AI产物负责东谈主毛玉杰讲演了生成式AI出现后实时互动（RTE，Real-Time Engagement）时间和体验的变迁。

毛玉杰先容，2014年于今十年，RTE从就业质地走向体验质地；2025年运转，在生成式AI发展的配景下，RTE向AI RTE变革，运转看重跨模态体验质地，作念多模态交互、跨模态调遣，为东谈主和模子而遐想，给大模子厂商提供眼睛、耳朵和声息才调。

毛玉杰说，现在东谈主机对话一经达到“听得懂”的景况，期待下一步扫尾“听得心”——让东谈主机交互变成信得过的心灵交互。

3、腾讯云谢宇：向量数据库助力企业挖掘更大数据价值

AI时期，向量数据库（VDB）脱颖而出，成为联接结构化与非结构化数据的要害。关系词，当VDB被哄骗于RAG场景时，多款开源RAG架构出现了调回率低的问题。

腾讯云向量数据库时间负责东谈主谢宇先容，为贬责上述挑战，腾讯领先擢升了复短文档的识别效果，并对数据处理、Embedding、检索、转头等其他按次进行优化，最终扫尾了90%以上的调回率。

腾讯自研向量检索引擎OLAMA已上线5年，日均处理8500亿次检索肯求。改日，他们还将在性能、成本、业务效果、容灾率等方面发力，执续擢升产物推崇。

4、Jina AI王楠：长文本大模子、RAG永恒共存，长窗口向量模子面对两大挑战

大模子存在幻觉、无法保证独少见据安全、推理成本高三大问题，Jina AI联合创举东谈主兼首席时间官王楠以为，RAG恰是通过消弱大模子生成范围，保证检索准确性、扫尾驱散可溯源，是以长本文大模子不会取代RAG，二者将永恒共存。

短窗口会导致凹凸文配景信息丢失，因此RAG需要长窗口向量模子支执。但长窗口向量模子面对两大挑战，一是推理成本和内存破钞会随窗口长度呈往常线性增长，分享GPU是贬责念念路之一；二是长窗口使模子无法竣工暗示细颗粒度语义，解法是增多向量维度和多向量暗示。

5、Zilliz栾小凡：向量数据库落大地临成本及扩张性挑战，RAG转为Graph RAG

Zilliz联合东谈主、研发VP栾小凡分享了向量数据库现在面对的挑战以及相应贬责决策。

栾小凡称，2025年重生成的数据中，将会有80%以上黑白结构化数据。在这一数据压力下，向量数据库的落大地临着成本以及扩张性等方面的各样挑战。而现在的RAG存在搜索质地难、处理长尾查询才调差、驱散难以解释和按捺、向量存储成本高级问题。

据此，栾小凡偏激团队提议了两个贬责念念路：一是夹杂查询，在单个系统内支执密集镶嵌、稀少镶嵌和词汇搜索；二是Graph RAG，将常识图谱和向量检索结合起来。

6、英飞流张颖峰：多模态RAG新范式

英飞流创举东谈主兼CEO张颖峰以为，RAG手脚LLM时期的数据库，现在面对着三大挑战——多模态文档处理、检索、语义鸿沟。

针对第一个问题，英飞流考验了深度文档集中模子，能对复短文档中的多模态内容进行分类处理。而在检索这一RAG“临了一公里”的问题上，英飞流使用三路调回决策，并增多张量索引进行重排序，这一决策在多模态RAG上展现出彰着优势。

临了，针对检索过程中的语义鸿沟，英飞流使用GraphRAG抽取常识图谱，并与原数据进行联合检索，擢升检索质地。

7、Alluxio傅正佳：零鼎新、无侵入计策，打造高性能AI数据底座

Alluxio首席架构师父正佳谈到了擢升大范围模子考验着力的两大挑战：一是数据范围约束增长、类型更多元化，因此处理数据需要擢升算力有用利用率；二是当数据喂到考验平台上，数据IO打听瓶颈会导致算力处于低利用率景况。

这一配景下，Alluxio提供了息争的数据视图、丰富公约升沉、高性能数据打听，以打造合座数据就业。其决策通过零鼎新、无侵入计策，不错使算法工程师仍按原有形状责任，无需更正已有剧本，况且客户一经有的大都存量数据不需要进行独有化公约鼎新。

三、AI 2.0时期，大模子行至深水区，AI Infra迎来变革

在圆桌论坛按次，几位嘉宾分享了对于“大模子行至深水区，AI Infra的新变化与新契机”这一主题的行业瞻念察，以及各自公司的产物和时间是怎样贬责AI应用中的核肉痛点的。

手脚主执东谈主的德联本钱推论董事刘景媛提到，两年前，ChatGPT将生成式AI推到台前，迎来AI 2.0时期，Scaling Law和数据量的大范围增长给AI Infra带来了特等大的增量契机。两年后的今天大模子行至深水区，AI Infra在匡助大模子及有关产物的落地的过程中，产物界限和功能需求厚重显著。

▲刘景媛

对于Infra这类研发周期长、工程复杂进程高的软件产物，开源社区大要不错孝敬一些能量，使产物迭代实时间选型更贴合实质需求，同期擢升技俩自身的关注度和影响力。

另外，“go global”也真实成为Infra软件的必选项，一方面有生意的考量，另外中国工程师的劳作和工程攻坚才调寰球有目共睹。值得关注的是，在资源有限的情况下也要作念好采用（不管是功能方面如故业务模式方面）。

Zilliz手脚向量数据库企业，其产物不错处理大体量非结构化数据，挖掘数据价值。对AI 2.0时期的需求变化，Zilliz联合东谈主、研发VP栾小凡以为，AI时间在旧年被高估、本年被低估，往后看AI落地还需要等一个契机，这亦然悉数这个词范式的发展契机。

谈到开源，栾小凡咨嗟谈，Zilliz现在正处于最具挑战的阶段，一方面要让产物称心客户需求，另一方面要让产物变现。

▲栾小凡

当下，AI Infra公司出海一经成为必答题。栾小凡以为出海的前摘要求等于产物要有先发优势，在扩张性、功能等方面碾压竞品。产物定制方面，栾小凡的不雅点是Zilliz真实不作念定制。原因在于其所处的赛谈一经充足大，莫得必要执着于将我方打酿成大而全的平台。

AI时期，数据量的暴增对存储提议巨大挑战。Alluxio首席架构师父正佳先容，他们通过散布式数据编排软件系统，高效联接存储与计较。Alluxio很早就谨慎到存算分离的趋势，并在数据而已打听按次要点发力，恢复了AI存储挑战。

Alluxio的存储系统兼具开闭源版块，傅正佳以为开源匡助他们保执了与时间前沿的同步，也打出了闻明度，但他们也面对着生意化和部分开源用户孝敬进程低的问题。Alluxio现在正积极出海，傅正佳分享，海表里团队的优势互补与产物的土产货化是其中的关键。

▲傅正佳

英飞流创举东谈主兼CEO张颖峰称，RAG用起来很容易，但作念好特等坚苦。公司能作念成RAG的中枢在于，把作念系统的东谈主和作念AI的东谈主和会在了一齐去作念产物。

谈及开源，张颖峰说，开源是生意化的一种计策，而不是为了开源而开源；为了出海必须开源，但创业第一天就要想剖析产物企业版和诱骗者版之间的区别。

▲张颖峰

现在英飞流的Infra产物还莫得过问生意化阶段，结合过往创业阅历，张颖峰称，生意化过程中，创举东谈主必须对每个产物的特质和定制化的界限有特等披露的意识。

结语：生成式AI产业化落地加快，上中下贱全产业链呼叫合作共赢

昔时一年，生成式AI的发展渡过了万千风光的一年，悉数这个词产业链成为寰球创新、投资和应用最活跃的领域之一，每位参与者都在与时期竞走。

Sora掀翻视频生成飞腾，多模态寰宇模子的筹商热度渐起。更具翻新性的推理模子o1悄然出世，基座大言语模子不再执续狂飙，不仅价钱战、营销战硝烟燃起，融资热度降温，Scaling Law是否撞墙更是在年底激勉热议。

行业赋能执续进行，包括智能体在内的应用层的兴起仍然备受期待。同期，大模子向边端下千里的趋势日趋彰着，AI手机、AI PC等AI硬件纷繁站优势口。不啻AI硬件，大模子驱动下的具身智能更是热度空前，东谈主形机器东谈主正开启星辰大海。

手脚智能产业的永恒不雅察者，咱们期待见证并纪录中国生成式AI波澜之变，并将执续邀请这股波澜中的新力量们，分享他们最新的时间进展与生意化探索。

跟着本日为期两天的2024中国生成式AI大会（上海站）圆满收官。2025年线下大会也将讲求启动，除了1月14日的寰球自动驾驶峰会，围绕AI芯片、生成式AI等领域的线下大会也已缠绵上了，敬请期待。