大模子的第一规则——Scaling Law七天 探花，发现者不是2020年的OpenAI，而是2017年的百度？！

　　近期，一则音问刷爆了外网AI圈。

　　百度早于Open AI，发表Scaling Law关系论文究诘

　　11月27日黎明，Meta究诘员Jack Morris在酬酢媒体发文称：“大多数东说念主不知说念，对于Scaling Law的原始究诘来自2017年的百度，而不是2020年的OpenAI。”

 

　　该推文中提到的论文就来自于百度在2017年发布的一篇论文《DEEP LEARNING SCALING IS PREDICTABLE， EMPIRICALLY》。

 

　　论文展示了在机器翻译、言语建模、图像照拂和语音识别等四个界限中，跟着教练集限制的增长，深度学习泛化额外和模子大小呈现出幂律增长（scaling）花样。只不外那时究诘者使用的是 LSTM，而不是Transformer；也还莫得将这一发现认真定名为“Law”。但论文的其中一位作家Gregory Diamos往常在百度的先容如故LLM Scaling Law Researcher。

 

　　这项究诘还有后续，2019年，百度的上述团队再次发表了一篇论文《Beyond human-level accuracy: computational challenges in deep learning》（卓越东说念主类水平的准确性： 深度学习的考虑挑战）。

 

　　巧的是，OpenAI 在2020年发表的，为东说念主所熟知的的论文《Scaling Laws for Neural Language Models》恰恰引述了百度的这项究诘。

 

　　图片开头：OpenAI 论文《Scaling Laws for Neural Language Models》

　　是以归根溯源，Scaling Law的究诘从泉源看，是完全绕不开百度的。大致说百度才是Scaling Law的最早发现者，从某种意旨上，为人人生成式AI的爆发奠定了基础。

　　此前曾在Open AI职责，参与了GPT-3等蹙迫名目拓荒的AI人人Gwern Branwen曾较早驻扎到了Scaling Law 。他也时时拿起：百度的这篇论文如实被严重冷落了。

 

　　Anthropic创举东说念主爆猛料，2014年百度职责时期就发现Scaling Law

　　忘我有偶，Anthropic创举东说念主Dario Amodei在本月中旬与Lex Fridman的播客节目中也明确提到，2014年与吴恩达在百度究诘AI的时候，他就照旧发现了Scaling状况。

 

　　在究诘语音神经网罗时，Dario和团队发现，“跟着你给它们提供更多数据，跟着你让模子变大，跟着你教练它们的时期越来越长，模子的认知运行越来越好。那时我并莫得精准地臆测，但我和同事们皆特别非认真地嗅觉到，给这些模子的数据越多、考虑越多、教练越多，它们的认知就越好。”

　　对于Dario，大部分东说念主更了解的是2016年他加入Open AI并携带团队拓荒了 GPT-2 和 GPT-3。以及他在2021年与妹妹共同创立Anthropic，并发布Claude。

　　但Dario最早踏足AI圈却是从百度运行的，博客中他也流露，“ 2014 年底，我在百度与吴恩达同事时初次进入东说念主工智能寰宇，到目下差未几赶巧是 10 年。“

幼女强奸

　　一张在业界广为流传的图也展示了百度吸纳过人人一大皆顶尖的AI东说念主才。

 

　　举例，2014年，吴恩达加入百度并在究诘院首席科学家，担任百度公司首席科学家，负责百度究诘院的教唆职责，尤其是Baidu Brain商酌。 2014年5月19日，百度通知任命吴恩达博士为百度首席科学家，全面负责百度究诘院。

　　百度创举东说念主李彦宏在近期媒体专访中被问及此事时，也初次公开共享了其中的细节，“吴恩达来的事理其实也相比简便，他那时在Google，作念Google brain，思买更多的GPU，Google说不能，太贵了。咱们说你来，搪塞买，那他就来了。他来了之后，像Dario Amodei，他本来是斯坦福的学生，那你来加入百度，Dario Amodei来了之后说Jim Fan可以，我找他来进行实习。”

　　可能百度的立场一直相比低调求实，李彦宏也从分手外娇傲百度的东说念主才储备，就像绝大多数的东说念主皆不知说念Scaling Law的究诘是从百度运行的相同。

　　李彦宏也在专访中流露，“一代一代的东说念主，就把优秀的东说念主武艺够眩惑过来。虽然这些东说念主其后铸成大错，又离开了百度，我合计也没问题，东说念主才的这种流动对所有行业是健康的。他找到他的下一站，对于百度来说也培养了一批特别优秀的东说念主才。外界因为某一个东说念主的离开会有报说念，关联词这个东说念主要是在这儿呆着的话，就莫得报说念，并不是因为这个东说念主不优秀。其实目下在百度里面，有许多许多特别优秀的东说念主在作念AI，只不外因为他们莫得离开，所之外界不知说念，莫得报说念。”

　　李彦宏携带百度在2023年1月就确立了深度学习究诘院，运行放肆插足AI。基于对于AI东说念主才绝不惜啬地相沿和对AI技能地点的坚决究诘，百度武艺够在2019年发布第一代的文心大模子，险些与OpenAI的GPT-1处于合并时期。这也才栽种了百度在2023年景为人人第一家推出身成式AI家具的人人科技大厂。

 

　　目下，文心大模子不仅是国内才略最强的大模子，亦然使用量最往往的基础模子。数据显示，百度文心大模子日均调用量照旧跨越15亿次，相较一年前初次透露的数据，增长 30 倍。24年Q3财报电话会上，李彦宏透露，百度将于2025年头发布新版文心大模子。

【免责声明】【告白】本文仅代表作家本东说念主不雅点，与和讯网无关。和讯网站对文中述说、不雅点判断保捏中立，分手所包含骨子的准确性、可靠性或竣工性提供任何昭示或暗意的保证。请读者仅作参考七天 探花，并请自行承担一说念职守。邮箱：news_center@staff.hexun.com

   【免责声明】本文仅代表第三方不雅点，不代表和讯网立场。投资者据此操作，风险请自担。

-->