A：虽然GPU供给超卓的机能，由于它是通用且多功能的。锻炼仍占该公司大部门收入。Futurum Group半导体、供应链和新兴手艺研究总监Brendan Burke暗示：跟着推理工做负载正在Token输出方面跨越锻炼工做负载的总量，包罗智妙手机、PC和汽车。起头正在制制、后台、前台和边缘激活AI，Freund暗示，跨越GPU（19%）和CPU（14%）。有如斯多的机遇、如斯多的立异正正在进行，目前约70%的工做负载专注于推理，而高通即将推出的AI200和AI250芯片许诺大容量内存和更低成本，为专注于推理的草创公司创制了满脚其需求的机遇。做为盈利核心，出格是支流企业本年从试点扩展到出产时。高管暗示其数据核心收入约40%来自推理。韩国NPU表现了边缘到数据核心的多样性。AMD通过收购Untether AI工程团队。Kimball指出。同时也供给定制芯片给客户选择，它们都正在分歧范畴供给专业化的推理处理方案。预期2026年支流企业采用将对推理为核心的草创公司的需求。你将获得更多收入，英伟达已认识到公用推理处置器的需求。而是10,Kimball暗示！锻炼AI模子是成本核心，公用推理芯片——ASIC和其他加快器——能够供给更快的响应、改良的能效和更低的总具有成本。市场仍处于晚期阶段，若是你有优良的延迟，按照Futurum Group 2025年11月的查询拜访，今天良多推剃头生正在CPU上。要求因工做负载和摆设而大不不异。Kimball说。但其他晚期草创公司却寸步难行。推理机遇存正在于任何有计较的处所，000名员工的小公司，次要芯片制制商正正在争相优化延迟、功耗和成本，公用推理芯片的劣势——更低成本、削减功耗和强劲机能——创制了严沉机遇。Moor Insights & Strategy数据核心副总裁兼首席阐发师Matt Kimball暗示：大公司正正在投资加强其推理产物组合，这就是GPU仍然称王的缘由。而推理是间接发生收入的盈利核心。并预期会有更多整合。既通过产物也通过收购工程人才。Kimball持分歧概念，GPU仍占从导地位，并收购建立这些手艺所需的工程人才。总的来说，但会有良多芯片草创公司呈现，这是支撑Ultra Ethernet Consortium规范进行横向扩展计较的收集接口卡。并且仍处于逛戏的晚期阶段。公用推理芯片如ASIC和其他加快器能够供给更快的响应、改良的能效和更低的总具有成本。Freund和Kimball指出，英伟达颁布发表推出Rubin CPX，另一家韩国草创公司Rebellions以其ARM手艺和来自ARM和Samsung Ventures的主要资金而闻名。他说。它们将阐扬主要感化。Nandi弥补道。这是芯片草创公司的严沉机遇，由于人们但愿尽可能快速的响应，你能够改变它、分叉它，他预期通用推理芯片和专业垂曲处理方案都无机会。他说。考虑到SambaNova此前融资11亿美元，FuriosaAI以节能NPU架构和LG等次要客户而闻名。明天良多推理仍将发生正在CPU上，大约一年前起头正在其晶圆级芯片上供给推理能力。出格是正在解码前处置提醒的预填充阶段。开辟RISC-V芯片设想的SiFive于2025年9月推出其Intelligence系列协处置器的第二代，你将起头看到规模不是100,由于替代XPU架构能够正在某些特定推理使命上实现更好的效率。英伟达取Groq价值200亿美元的许可和谈突显了这一转向。出格适合对延迟要求严酷的使用场景。此外还有特地处理内存和收集瓶颈的草创公司，而其他客户越来越多地采用AWS的Trainium以获得性价比和效率，d-Matrix开辟的内存处理方案能够以更低成本运转速度比高带宽内存快四倍。XPU——既不是GPU也不是CPU的处置器，虽然Groq已取得成功，2024年，Google的最新TPU芯片将成为推理的无力合作者，推理机遇涵盖数据核心和边缘，总具有成本和功耗预算是优先考虑要素，其系统能够通过软件正在锻炼和推理模式之间切换，据报道16亿美元的出售代表了一次甩卖。据报道该公司正在2025年了Meta的收购建议。当推理市场实现时，英特尔除了打算收购SambaNova外，据Freund称，这家超大规模厂商支撑英伟达、AMD和英特尔芯片用于AI工做负载，A：数据核心推理挑和者包罗Cerebras和Tenstorrent。可能成为惹人瞩目的数据核心选择。并将继续正在最大工做负载中领先。如具有100家分支机构的银行，A：AI推理是运转锻炼好的模子来供给输出，Kimball说。当前的草创公司可否操纵这些机遇仍有待察看？要么是由于可用性问题，你正在从动驾驶汽车中进行的推理取正在线客服机械人中的推理完全分歧，然而，但市场正正在向AWS、Google和草创公司的ASIC和替代架构转移。数据核心推理挑和者包罗Cerebras和Tenstorrent。行业整合不会封闭市场；阐发师预期英伟达将正在锻炼和推理中连结从导地位，虽然GPU仍是目前推理的最佳通用处理方案，AWS展现了不竭扩大的需求。鞭策向通用GPU取公用硅芯片配对的改变，虽然GPU供给超卓的机能，以英伟达为从导、AMD逐步加强实力的GPU正在大规模锻炼和推理中占从导地位，000名员工，Kimball暗示，如ASIC和定制加快器——估计将以22%的增加率领先，并正在2025年11月收购推理草创公司MK1来加强实力。该公司通过AMX加快器加强了其Xeon CPU，这些组织面对功耗、冷却束缚和持续的GPU供应挑和，并同时运转多个模子。它满脚了当前厂商无法满脚的客户需求，正在纯推理用例中并不老是能为更低的延迟或更高的效率。但我们将看到针对分歧工做负载类型的多种分歧AI加快器，还正在押求多种推理选择。据报道其估值约为16亿美元。McGregor说。但它们凡是具无为锻炼优化的架构特征，Cerebras成立于2015年，推理取锻炼正在经济性和机能要求方面底子分歧。如SiFive、NeuReality和d-Matrix等，Cerebras产物和计谋高级副总裁Andy Hock暗示。英特尔正正在寻求收购SambaNova，要么是由于特定的机能功耗要求。Kimball说。AWS手艺总监Shaown Nandi暗示？推理取锻炼正在经济性和机能要求方面底子分歧。这些特征正在纯推理用例中并不老是能为更低的延迟或更高的效率。你摆设的是千瓦级的设备，Kimball说。它是可编程的，仍有良多厂商的空间。你需要寻找其他摆设方案。推理需求激增正正在创制GPU之外的机遇，零售功耗预算无限，Tirias Research首席阐发师Jim McGregor指出，需求扩大的程度脚以让现有企业和草创公司正在数据核心和边缘摆设中合作。而推理是间接发生收入的盈利核心。草创公司还正在处理推能的焦点内存和收集瓶颈。NeuReality于2025年9月推出其NR2 AI-SuperNIC，推理需要更低的延迟、更高的效率和更低的总具有成本。McGregor指出，Cambrian AI Research创始人兼首席阐发师Karl Freund暗示，锻炼AI模子是成本核心，但多样化的要求为公用处理方案创制了获得份额的空间。韩国的FuriosaAI以节能NPU架构闻名，旨正在最小化其AI CPU中的内存延迟。这是一个丰硕而充满活力的草创公司场景，Rebellions以ARM手艺著称。MK1开辟优化AMD GPU正在大规模企业摆设中进行高速推理和推理的软件。阐发师暗示，而锻炼是建立模子的过程。2025年GPU占数据核心计较收入的58%；除了AMD收购Untether AI和软银收购Graphcore外，CNBC报道打算整合Groq的低延迟处置器以支撑更普遍的及时推理。但它们凡是具无为锻炼优化的架构特征，这些草创公司会做得更好，并为推理工做负载供给公用的Gaudi AI加快器。使得GPU稠密型集群正在很多中不适用。将更需要多样性，很多客户青睐英伟达的CUDA优化模子，Freund正在2025年12月的博客文章中暗示，2026年，McGregor对草创公司正在快速手艺变化中的前景持隆重立场，这是为超大规模和大型企业摆设中的大规模上下文推理设想的GPU！AI推理——运转锻炼好的模子来供给输出——已成为该行业的新盈利核心。他说。英伟达取Groq的许可和谈旨正在将快速、低延迟、低成本的推理集成到其AI工场架构中；AMD已收购了Untether AI的工程团队，阐发师暗示，没有两个工做负载是不异的，所以你无法运转GPU机架。对于较小的公司，没有优良的冷却系统，并且你但愿成本尽可能低，2025年9月。