IT 之家 12 月 20 日音信,以 ChatGPT 等为代表的大型讲话模子(LLMs)在畴昔几年中越来越擅长贬责和生成东谈主类讲话勾引 初中生,但这些模子在多猛进程上模拟了东谈主类大脑撑握讲话贬责的神经经过,还有待进一步弘扬。
据 Tech Xplore 18 日报谈,哥伦比亚大学和费因斯坦医学辩论所的辩论团队近期进行了一项辩论,探索了 LLM 与大脑神经反应的相似性。辩论标明,跟着 LLM 技能的卓越,这些模子不仅在性能上有所普及,况且结构上也越来越接近东谈主类大脑。
论文的第一作家加文・米施勒(Gavin Mischler)在摄取 Tech Xplore 采访时示意:"咱们撰写这篇论文的灵感开始于连年来 LLM 和神经 AI 辩论的迅速发展。"
"几年前,有几篇著述骄气,GPT-2 的词镶嵌与东谈主脑对讲话的神经反应有一定相似性,但在东谈主工智能这一迅速发展的范畴中,GPT-2 如今也曾过期,算不上最宏大。"
"自从 ChatGPT 发布后,裸露了好多更宏大的模子勾引 初中生,但对于这些新模子是否仍然发挥出研究的大脑相似性,干系辩论却并未几。"
大乱交米施勒过头团队的主要辩论,是探究最新一代的 LLM 是否依然发挥出与东谈主类大脑相似的特征。辩论东谈主员对 12 个不同的开源 LLM 进行了分析,这些模子在架构和参数数目上果真一致。同期,他们也通过在神经外科患者的脑部植入电极纪录其听到讲话时的大脑反应。
米施勒阐发谈:"咱们还将相通的演讲文本输入 LLM,并索取其词镶嵌,这些镶嵌是模子里面用来贬责和编码文本的示意。为了推测这些 LLM 与大脑的相似性,咱们尝试通过展望大脑对词语反应的神经举止来评估它们的对应性。通过这种神色,咱们不错了解两者的相似度。"
在数据集聚后,辩论东谈主员行使盘算器具分析 LLM 与大脑的对皆进程。他们异常关怀哪些眉目的 LLM 与大脑中与讲话贬责干系的区域最为匹配。大脑对讲话的反应已知会渐渐通过对语音的声学、语音学等身分的分析,缔造讲话的概述表征。
米施勒示意:"咱们发现,跟着 LLM 技艺的普及,这些模子的词镶嵌与大脑对讲话的反应越来越接近。更出乎预念念的是,跟着模子性能的普及,它们与大脑眉目结构的对皆进程也有所提高。这意味着,讲话贬责经过中大脑不同区域索取的信息,与性能较强的 LLM 的不同眉目索取的信息对比,愈加一致。"
这些辩论成果标明,发挥最佳的 LLM 更能准确反应大脑的讲话贬责反应。况且,这些模子的优秀发挥可能与其早期眉目的高效性讨论。
讨论辩论成果也曾在《当然・机器智能》期刊上发表勾引 初中生,IT 之家附运动:点此赶赴