实验性脑控助听器解码 识别您想听的人

我们的大脑具有非凡的诀窍，可以在嘈杂的环境中挑选出个人的声音，比如拥挤的咖啡馆或繁忙的城市街道。这是即使是最先进的助听器也很难做到的事情。但现在，哥伦比亚大学的工程师们正在宣布一项实验技术，该技术可模仿大脑检测和放大许多声音的天生能力。这种由大脑控制的助听器由人工智能驱动，可作为自动过滤器，监控佩戴者的脑电波并增强他们想要关注的声音。

虽然仍处于早期开发阶段，但该技术是迈向更好助听器的重要一步，使佩戴者能够无缝，高效地与周围的人交谈。今天在Science Advances中描述了这一成就。

哥伦比亚Mortimer B的首席研究员Nima Mesgarani博士说：“处理声音的大脑区域非常敏感和强大;它可以放大一个声音而不是其他声音，看似毫不费力，而今天的助听器仍然比较苍白。” Zuckerman Mind Brain Behavior Institute和该论文的资深作者。“通过创造一种利用大脑本身力量的设备，我们希望我们的工作能够带来技术改进，使全球数亿听障人士能够像他们的朋友和家人一样轻松地进行交流。”

现代助听器在放大语音的同时抑制某些类型的背景噪声(例如交通)非常出色。但他们努力提高个人声音的音量而不是其他声音。科学家称这是鸡尾酒会的问题，以喧闹的声音在喧闹的派对中混合在一起而命名。

哥伦比亚工程公司电气工程副教授梅斯卡拉尼博士说：“在拥挤的地方，像派对一样，助听器会立刻放大所有发言人。” “这严重阻碍了佩戴者有效交谈的能力，基本上将他们与周围的人隔离开来。”

哥伦比亚队的脑控助听器是不同的。它不仅仅依赖于外部声音放大器，如麦克风，还可以监听听众自己的脑电波。

“以前，我们发现当两个人互相交谈时，说话者的脑电波开始类似于听众的脑电波，”梅斯加拉尼博士说。

利用这些知识，该团队将强大的语音分离算法与神经网络，模仿大脑自然计算能力的复杂数学模型相结合。他们创建了一个系统，首先从一个组中分离出各个说话者的声音，然后将每个说话者的声音与听者的脑电波进行比较。其声音模式与听众的脑电波最匹配的说话者随后被放大。

研究人员在2017年发布了该系统的早期版本，虽然很有希望，但却有一个关键的限制：它必须预先训练才能识别出特定的扬声器。

“如果你和家人在一家餐馆，那个设备会为你识别并解码这些声音，”Mesgarani博士解释说。“但是，一旦服务员等新人到达，系统就会失败。”

今天的进展很大程度上解决了这个问题。在哥伦比亚科技风险投资公司的资助下，改进其原始算法，Mesgarani博士和第一作者丛汉和James O'Sullivan博士再次利用深度神经网络的力量构建了一个更加复杂的模型，可以推广到听众遇到的任何潜在发言者。

“我们的最终结果是一种语音分离算法，其表现与先前版本相似，但有重大改进，”Mesgarani博士说。“它可以识别和解码一个声音 - 任何声音都可以立即发声。”

为了测试该算法的有效性，研究人员与Northwell Health Institute for Neurology and Neurosurgery的神经外科医生Ashesh Dinesh Mehta合作，并与今天的论文合着。Mehta博士治疗癫痫患者，其中一些人必须接受定期手术。

梅斯加拉尼博士说：“这些患者自愿听取不同的发言者，同时我们通过植入患者大脑的电极直接监测他们的脑电波。” “然后我们将新开发的算法应用于该数据。”

该团队的算法跟踪患者的注意力，因为他们听取了之前没有听过的不同的发言者。当患者专注于一个扬声器时，系统会自动放大该声音。当他们的注意力转移到另一个扬声器时，音量水平发生变化以反映这种转变。

在他们的研究结果的鼓舞下，研究人员正在研究如何将这种原型转变为一种非侵入性设备，可以将其置于头皮外部或耳朵周围。他们还希望进一步改进和改进算法，使其能够在更广泛的环境中运行。

“到目前为止，我们只在室内环境中进行了测试，”Mesgarani博士说。“但我们希望确保它能够在繁忙的城市街道或嘈杂的餐厅中工作，这样无论走到哪里，他们都可以充分体验世界和周围的人。”