ChatGPT之后,下一代大型语言模型在哪里?
导读:ChatGPT的爆火,让大语言模型受到了人们的关注,然而这些来自不同公司的大语言模型,像OpenAI的GPT-3、Google的PaLM或LaMDA、Meta的Galactica或OPT等,都是在相同的基本方式上构建的,都是基于Transformer构建的自回归、自我监督、预训练、密集激活模型。虽然各种大模型表现类似惊人的能力,但目前的人工智能远远没有到达其能力的终点。 那么未来大语言模型的出路在哪里?The Next Generation Of Large Language Models(下一代大语言模型)根据一些最新的研究结果提出了一些猜想。比如大模型可以产生训练数据来用于改善自己;大模型可以核查确认事实;海量稀疏专家模型等。该文由Radical Ventures的合伙人,同样也是You.com的投资者Rob Toews撰写,并发表在最近一期的福布斯杂志。 也许您还没有听说过,人工智能是最热门的新事物。 如今,从硅谷到达沃斯,每一位风险投资家、企业家、财富 《500》 强首席执行官和记者都在谈论生成人工智能。 对于那些在 2022 年开始真正关注 AI 的人来说,他们认为像ChatGPT 和 Stable Diffusion 这样的技术似乎是凭空冒出来,席卷了全球。 早在 2020 年,我们就在本专栏写过一篇文章,预测生成式 AI 将成为下一代人工智能的支柱之一。 至少自2019 年GPT-2 发布以来,该领域的工作人员已经清楚,生成语言模型有望引发巨大的经济和社会变革。同样,虽然文本到图像模型去年夏天才引起公众的注意,但自 OpenAI 于 2021年1 月发布最初的DALL-E以来,该技术的优势似乎已经不可避免地。 出于同样的原因,重要的是要记住,人工智能的当前技术水平远未达到人工智能能力的最终状态。相反,人工智能领域的发展从未像现在这样快速。尽管 ChatGPT 目前在我们看来令人惊叹,但它只是下一步的垫脚石。 下一代大型语言模型 (LLMs) 会是什么样子?这个问题的答案已经存在,目前正在人工智能初创公司和研究小组的开发中。 本文重点介绍了三个新兴领域,它们将有助于定义生成式 AI 和 LLM 的下一波创新浪潮。对于那些希望在这个瞬息万变的世界中保持领先地位的人来说,请继续阅读: 01、可以自己生成训练数据以提高自己的模型 想想人类是如何思考和学习的。我们从外部信息来源收集知识和观点——比如,通过阅读一本书。但我们也会通过思考一个话题或思考一个问题,自己产生新颖的想法和见解。我们能够通过内部反思和分析来加深对世界的理解,而不直接依赖于任何新的外部输入。 人工智能研究的一条新途径旨在使大型语言模型能够做类似的事情,有效地引导它们自己的智能。 作为他们培训的一部分,今天的 LLMs 吸收了世界上积累的大部分书面信息(例如,维基百科、书籍、新闻文章)。如果这些模型一旦经过训练,就可以使用它们从这些来源吸收的所有知识来生成新的书面内容,然后将这些内容用作额外的训练数据来改进自己,那会怎样?初步研究表明,这种方法可能可行且功能强大。 在最近的一项名为“大型语言模型可以自我改进”的研究工作中, Google 的一组研究人员构建了一个…