“越大越好”的旅途走欠亨?OpenAI正在寻求调查模子的新作为
开头:财联社
许多东说念主工智能(AI)科学家和初创公司合计,通过加多更多数据和算力来扩大刻下模子,以捏续纠正AI模子的作为正在走到很是。因此,像OpenAI这么的AI公司正在寻求通过开采新的调查技艺来克服刻下边临的挑战,这些技艺更像东说念主类的念念考姿首。
自风靡公共的聊天机器东说念主ChatGPT发布以来,科技公司王人是通过加多更多数据和算力来扩大并改善AI模子。但咫尺,一些最凸起的AI科学家正在指出这种“越大越好”的局限性。
东说念主工智能履行室Safe Superintelligence和OpenAI的鸠合首创东说念主Ilya Sutskever近日默示,扩大预调查(调查AI模子的阶段,该模子使用大王人未标记的数据来默契谈话花式和结构)所取得的后果依然达到了一个安静期,对升迁模子性能的匡助有限。
Sutskever早期目的通过在预调查中使用更多数据和算力来完了生成式AI的广大飞跃,这最终创造了ChatGPT。他本年早些时候离开OpenAI,创立了Safe Superintelligence。
Sutskever默示:“昔时是界限延迟的期间,咫尺咱们又回到了古迹和发现的期间。每个东说念主王人在寻找下一个东西,这比以往任何时候王人更伏击。”
此外,Sutskever还承认他的公司正在盘问一种扩大预调查界限的替代作为,但未知道更多细节。
新技艺竞赛
大模子的所谓“调查”需要同期启动数百个芯片,本钱可能高达数千万好意思元。沟通到系统的复杂性,它们更有可能出现硬件导致的故障;在测试戒指之前,盘问东说念主员可能无法知说念这些模子的最终性能,这可能需要几个月的时刻。
另一个问题是,大谈话模子归拢了大王人数据,而AI模子依然铺张了天下上统统容易获得的数据。电力穷乏也壅塞了调查启动,因为这个经过需要大王人的动力。
为了克服这些挑战,盘问东说念主员正在探索测试时狡计(test-time compute),这是一种在所谓的推理阶段或使用模子时增强现存AI模子的技艺。举例,模子不错及时生成和评估多种可能性,最终选择最好前进旅途,而不是立即选择一个谜底。
这种作为使模子大略将更多的科罚武艺进入到具有挑战性的任务中,比如数学或编码问题或需要访佛东说念主类的推理和有贪图的复杂操作。
OpenAI盘问员Noam Brown此前默示:“事实剖释注解,让一个机器东说念主在一盘扑克牌中念念考20秒,与将模子放大10万倍、调查时刻延长10万倍的效果疏导。”
OpenAI 在其新发布的模子“o1”中禁受了这项技艺,与此同期,来自Anthropic、xAI和DeepMind等其他顶尖AI履行室的盘问东说念主员也在悉力于于开采我方的技艺版块。
OpenAI首席居品Kevin Weil默示:“咱们看到了许多低落的果实,摘下来让这些模子变得更好。比及东说念主们振奋为雄的时候,咱们会勤快开采新的技艺。”
多位科学家、盘问东说念主员和投资者合计,这种新技艺可能会重塑AI武备竞赛,并对AI公司所需求的各种资源产生影响。
海量资讯、精确解读,尽在新浪财经APP牵扯剪辑:丁文武