在平克弗洛伊德的帮助下大脑录音捕捉言语的音乐性

当平克 弗洛伊德的《墙上的另一块砖，第一部分》的和弦充满了手术室时，奥尔巴尼医学中心的神经科学家们勤奋地记录了放置在接受癫痫手术的患者大脑上的电极的活动。

目标?捕捉与音乐属性(音调、节奏、和声和单词)相适应的大脑区域的电活动，看看它们是否能够重建患者听到的内容。

十多年后，加州大学伯克利分校的神经科学家对 29 名此类患者的数据进行了详细分析后，答案显然是肯定的。

总而言之，它只是墙上的一块砖 这句话在重构的歌曲中清晰可见，其节奏完好无损，歌词模糊，但可辨认。这是研究人员第一次从大脑录音中重建出一首可识别的歌曲。

重建显示了记录和翻译脑电波以捕获语音的音乐元素以及音节的可行性。对于人类来说，这些被称为韵律的音乐元素 节奏、重音、重音和语调 所承载的意义是单词本身无法传达的。

由于这些颅内脑电图 (iEEG) 记录只能从大脑表面进行 尽可能靠近听觉中枢 短期内不会有人窃听你脑海中的歌曲。

但对于那些因中风或瘫痪而有沟通困难的人来说，大脑表面电极的这种记录可以帮助再现当今机器人重建中所缺少的语音音乐性。

这是一个了不起的结果， 神经学家、加州大学伯克利分校海伦威尔斯神经科学研究所心理学教授罗伯特 奈特(Robert Knight)说，他与博士后研究员卢多维奇 贝利尔(Ludovic Bellier)一起进行了这项研究。 对我来说，音乐的一大特点是它具有韵律和情感内容。随着脑机接口整个领域的进步，这为你提供了一种方法，为未来的大脑植入物添加音乐性，供有需要的人使用，比如患有 ALS 的人或患有 ALS 的人。其他一些影响语音输出的致残性神经或发育障碍。它不仅使您能够解码语言内容，还能够解码语音的一些韵律内容和一些情感。我认为这就是我们真正开始破解的代码开启。

随着大脑记录技术的进步，有一天也许可以在不打开大脑的情况下进行此类记录，也许可以使用附着在头皮上的敏感电极。Knight 说，目前，头皮脑电图可以测量大脑活动，以从一系列字母中检测出单个字母，但这种方法至少需要 20 秒才能识别单个字母，这使得沟通变得费力且困难。

今天的无创技术还不够准确。对于患者来说，我们希望将来我们可以仅通过放置在头骨外部的电极，以良好的信号质量读取大脑更深层区域的活动。但我们还很遥远。从那里开始， 贝利尔说。

贝利尔、奈特和他们的同事今天在《PLOS Biology》 杂志上报告了这一结果，并指出他们为 我们对人脑音乐处理的理解增添了又一​​块砖 。

读懂你的心思?还没有。

今天用来帮助人们在无法说话时进行交流的脑机接口可以解码单词，但产生的句子具有机器人的品质，类似于已故的斯蒂芬 霍金使用语音生成设备时的声音。

现在，这项技术更像是大脑的键盘， 贝利尔说。 你无法从键盘上读出你的想法。你需要按下按钮。它会发出一种机器人的声音;当然，我所说的表达自由会减少。

贝利尔应该知道。他从小就开始演奏音乐 鼓、古典吉他、钢琴和贝斯，曾在一支重金属乐队中表演。当奈特要求他研究演讲的音乐性时，贝利尔说： 你敢打赌，当我收到这个建议时，我很兴奋。

2012 年，奈特、博士后研究员布莱恩 帕斯利 (Brian Pasley) 和他们的同事首次仅根据大脑活动记录重建了一个人听到的单词。

最近，其他研究人员进一步推进了奈特的工作。加州大学旧金山分校神经外科医生、2012 年论文的高级合著者 Eddie Chang 记录了与下巴、嘴唇和舌头运动相关的大脑运动区的信号，以重建瘫痪患者想要的言语，并显示单词在电脑屏幕上。

这项工作于 2021 年报道，采用人工智能来解读患者试图根据一组 50 个单词说出句子的大脑记录。

虽然张的技术被证明是成功的，但新的研究表明，从处理声音各个方面的大脑听觉区域进行录音，可以捕捉到人类交流中重要的语音的其他方面。

贝利尔补充道： 从听觉皮层进行解码是非常有前途的，听觉皮层更接近声音的声学效果，而运动皮层则更接近产生语音声学的运动，这是非常有前途的。 它会给解码的内容带来一点色彩。

在这项新研究中，贝利尔重新分析了 2012 年和 2013 年获得的大脑录音，当时患者播放了平克 弗洛伊德 (Pink Floyd) 歌曲(来自 1979 年专辑《The Wall》)中约 3 分钟的片段。他希望超越之前的研究(测试解码模型是否可以识别不同的音乐作品和流派)，通过基于回归的解码模型来实际重建音乐短语。

贝利尔强调，这项研究使用人工智能解码大脑活动，然后编码复制品，并不仅仅是创建一个黑匣子来合成语音。他和他的同事们还能够精确定位大脑中参与检测节奏的新区域，例如弹奏的吉他，并发现听觉皮层的某些部分(位于耳朵后面和上方的颞上回)会做出反应在声音或合成器开始时，而其他区域则对持续的声音做出反应。

研究人员还证实，右脑比左脑更能适应音乐。

语言更多的是左脑。音乐更分散，偏向右脑， 奈特说。

目前尚不清楚音乐刺激是否会相同， 贝利尔说。 因此，我们在这里确认，这不仅仅是特定于语音的事情，而且对于听觉系统及其处理语音和音乐的方式来说更重要。

奈特正在开展一项新的研究，以了解大脑回路，这些回路允许一些因中风或脑损伤而失语的人在无法找到语言来表达自己的情况下通过唱歌进行交流。

这篇论文的其他合著者包括海伦 威尔斯神经科学研究所的博士后研究员阿纳伊斯 洛伦斯 (Ana s Llorens) 和黛博拉 马西亚诺 (D borah Marciano)、佛罗里达大学的艾塞古尔 冈杜兹 (Aysegul Gunduz) 以及纽约奥尔巴尼医学院和华盛顿大学的格温 沙尔克 (Gerwin Schalk) 和彼得 布伦纳 (Peter Brunner)，他们捕获了大脑录音。

标 签：

研究人员发现拥有强大工程业务的机构在创造专利方面效率更高

全黑队在墨尔本板球场以38-7击败澳大利亚队

积极的英格兰队控制了最终的灰烬杯测试

宝马和Gentari致力于绿色出行和可再生能源

五菱宝骏云朵紧凑型电动汽车推出起价95800元

Redmi 12 5G评测全面的经济型智能手机

Microsoft Teams桌面应用获得空间音频支持

Galaxy Tab S9 FE 泄露内存选项称最高 12GB RAM

三星正在推出第五个 One UI Watch 5 Beta 更新

三星Galaxy Z Flip 5 Fold 5 在印度的预订量 28 小时内突破 10 万份