曝OpenAI新旗舰模子“难产”，或来岁年头发布

编译 | 汪越裁剪 | Panken

智东西11月11日音尘，据The Information报谈，OpenAI的GPT系列模子改革速率放缓，公司正革新战术以应酬这一挑战。据OpenAI职工表露，下一代旗舰模子Orion已完成约20%的熟谙。Orion在谈话任务上发达出色，但在编码等方面未卓绝GPT-4，且运行资本偏高，擢升幅度低于预期。此外，Orion在来岁年头发布时，可能不会沿用传统的“GPT”定名规定，而是罗致新的定名花样。

Orion的开发袒露了高质地文本数据清寒的问题。笔据Scaling Law表面，模子性能应随数据量和算力的加多而擢升。但高质地数据的有限性已使Orion的熟谙遵循受限，令Scaling Law的适用性受到质疑。即便干预更多数据和算力，模子的擢升速率也可能不再如前几代那样显贵。

为此，OpenAI栽植了一个挑升团队，谈判奈何克服数据清寒的挑战，评估Scaling Law还能适用多久。

一、撞上数据墙，Orion在某些方面酷似旧模子

据OpenAI职工表露，GPT改革速率放缓的要紧原因是高质地文本和其他数据的清寒。大谈话模子（LLM）的预熟谙需要无数数据来成立模子对宇宙和办法的贯通，确保其能完成写稿或编程等任务。运筹帷幄词，跟着现存数据源日益被充分欺诈，模子擢升正靠近瓶颈。

▲LLM发布前的熟谙和测试经过（图源：The Information）

为处分数据不及的问题，OpenAI已组建由前预熟谙持重东谈主尼克·莱德（Nick Ryder）指引的团队，接力于于探索奈何克服数据清寒以及Scaling Law在翌日的适用性。

Orion模子的部分熟谙数据源于AI生成的数据，即由GPT-4等旧模子生成的合成数据。运筹帷幄词，这种花样可能导致Orion在某些方面呈现出旧模子的特征。

OpenAI正通过其他递次优化LLM处理任务的才智，举例条目模子从无数数学或编程问题样本中学习，并通过强化学习擢升解题遵循。此外，东谈主工评估员还会对模子的编码和问题处分发达进行评分，这种基于东谈主类反馈的强化学习为模子优化带来要紧撑抓。

本年9月，OpenAI推出了推理模子o1。与传统模子不同，o1在回复前“念念考”时辰更长，通过加多意想资源擢升反应质地，自满出“测试时意想”（Test-Time Compute）的遵循。天然o1的运行资本是等闲模子的六倍，况且该模子的客户群较为有限，但阿尔特曼以为它将为科学谈判和复杂代码生成等鸿沟带来冲突。

▲OpenAI“ol”推理模子奈何更好地处分数学奥林匹克竞赛题（图源：OpenAI）

二、LLM发展平台期，投资基础设施遵循存疑

据The Information报谈，Meta CEO马克·扎克伯格（Mark Zuckerberg）、阿尔特曼以偏激他AI开发公司的首席实施官均公开讲过，现时的本领仍未达到Scaling Law所设定的极限。这大略是包括OpenAI在内的公司，仍在干预数十亿好意思元开采大型数据中心的原因之一，以进一步擢升预熟谙模子的性能。

运筹帷幄词，OpenAI谈判员诺姆·布朗（Noam Brown）在上个月的TEDAI会议上共享说，开发更先进的模子可能在财务上变得不行抓续。布朗提倡质疑：咱们的确要糟践数千亿好意思元以至更多来熟谙新的模子吗？推广的模式终究会达到瓶颈。

OpenAI仍在对其下一代模子Orion进行永劫辰的安全性测试。据公司职工表露，Orion在来岁年头发布时，可能不会沿用传统的“GPT”定名规定，而是罗致新的定名花样。OpenAI官方对此并未作念出指摘。

一些照旧向AI开发商投资了数千万好意思元的投资者们，也对LLM是否照旧驱动趋于踏实暗意担忧。

本·霍洛维茨（Ben Horowitz）是OpenAI的股东之一，同期还投资了Mistral和Safe Superintelligence等竞争敌手。他曾谈谈，OpenAI一直在加多熟谙AI所需的GPU数目，但似乎并未获取预期的智能改革。不外，他并未进一步戒备评释。霍洛维茨的共事马克·安德森（Marc Andreessen）谈谈，好多灵敏的谈判东谈主员正在致力冲突本领瓶颈，尝试提高推理才智。

企业软件供应商Databricks的结合独创东谈主兼董事长Ion Stoica谈谈，LLM在某些方面可能照旧进入瓶颈期，但在其他方面仍在抓续高出。Stoica说，他们的平台允许应用轨范开发者评估不同的LLM，况且发现天然AI在编码和处分复杂的多要领问题上抓续改革，但在实施一些通用任务（如分析文本情谊或描写医疗症状）时，才智似乎有所放缓。

Stoica还说，在学问性问题上，LLM的发达可能照旧接近极限。为了进一步擢升模子的才智，公司需要更多的事实数据，而合成数据的匡助则有限。

结语：强化学习擢升模子发达，抓续投资保抓竞争力

OpenAI正通过多方战术应酬现时的本领瓶颈，尤其是在LLM靠近的高质地数据清寒和性能擢升窘境。为了克服这些挑战，OpenAI不仅通过强化学习擢升模子在数学和编程等特定任务中的发达，还依赖于AI数据平台Scale AI和LLM熟谙商Turing等初创公司来经管无数外包承包商，以撑抓熟谙经过。

天然现时AI基础设施的投资答复尚不昭着，且在LLM熟谙经过中靠近精深的财务压力与本领挑战，但阛阓竞争与投资温和尚未减退，竞争者们在抓续下注。比如，马斯克旗下的大模子独角兽xAI和X平台及英伟达逢迎，已建成了10万片H100 GPU的强项集群；Meta干预了400亿打造访佛范畴的GPU集群，以撑抓Llama 4模子的熟谙；苹果也在积极鼓动与富士康的逢迎，擢升自家设备的AI算力。

起原：The Information