渐冻症患者哈雷尔去年7月份接受了脑机接口手术,并在AI帮助下恢复了沟通能力。
划重点
1 渐冻症患者哈雷尔去年7月份接受了脑机接口手术,并在AI帮助下恢复了沟通能力。
2 在脑植入系统启动后不久,哈雷尔很快就可以表达他想要说的话,准确率达97%。
3 哈雷尔植入的系统甚至超越了许多智能手机语音转录应用的性能,应用潜力巨大。
腾讯科技讯 8月16日消息,据国外媒体报道,在一项超乎预期的实验中,医生在渐冻症患者哈雷尔的大脑内植入了脑机接口设备,成功捕捉到了他试图表达的语言意图。随后借助先进的人工智能技术,生成了极为贴近哈雷尔原始声音的输出,这一成就为言语交流障碍患者带来了新希望。
渐冻症(ALS)又称肌萎缩性侧索硬化症,会影响控制全身运动的神经细胞。这种疾病会导致患者逐渐丧失站立、行走和使用四肢的能力。有时候,它还会导致患者失去对用于说话的肌肉的控制,从而失去语言沟通能力。
四年前,当凯西·哈雷尔(Casey Harrell)患上渐冻症时,他逐渐失去了与妻女亲密互动的能力——从与妻子漫步、怀抱爱女到简单翻动书页等。他的妻子莱瓦娜·萨克森(Levana Saxon)形象地将这种病喻为“夜间的窃贼”,无声无息间剥夺了他的一切。
对于时年46岁的哈雷尔而言,最令人心碎的莫过于失去语言能力。在此之前,他为女儿吟唱了最后一曲温馨的睡前童谣,在卡拉OK上最后一次放声高歌惠特尼·休斯顿(Whitney Houston)的经典曲目。在作为气候活动家的生涯中,完成了最后一次独立进行的Zoom演示。
然而,去年7月突然出现了转机。加州大学戴维斯分校的医生团队通过手术,在哈雷尔的大脑中植入了电极,旨在解码他的思维意图,恢复其语言沟通能力。此举让他成为了前沿科学探索的最新测试对象,该领域正吸引着包括埃隆·马斯克(Elon Musk)旗下Neuralink在内的众多资金雄厚企业,它们共同致力于实现人脑与计算机的直接连接。
图注:哈雷尔专注地面对着显示器,屏幕上绿色光标旁的文字就是他想表达的意思
研究人员近期在《新英格兰医学杂志》上发表的报告令人振奋,他们指出哈雷尔的实验成果远超预期,为植入式语音解码器树立了新的标准,彰显了此类设备对语言障碍患者的巨大潜力。
加州大学旧金山分校神经外科专家爱德华·张(Edward Chang)虽未直接参与哈雷尔的治疗,但作为语音植入物领域的先驱,他感慨道:“这无疑是激动人心的进展。”他强调,几年前这类技术还仅停留于科幻想象,而今已“迅速迭代,日臻完善”。
治疗团队在哈雷尔的大脑皮层植入了四个电极阵列,外观宛如微型钉板,数量是近期另一项针对ALS患者语言区植入研究的两倍之多。每当哈雷尔尝试通过嘴唇、下巴及舌头的细微动作发声时,每个阵列上的64个尖端便精准捕捉来自神经元的电信号脉冲,为解码其意图提供支持。
图注:这是连接至脑机接口的钉状界面,它可以让哈雷尔重新找回了表达自我的声音
手术后的第三周,科学家团队齐聚哈雷尔位于加州奥克兰的客厅,进行了一场前所未有的“接通仪式”——将精密的植入物与一系列高科技电脑无缝连接,电缆巧妙地连接至从哈雷尔头骨延伸而出的两根金属支柱上。
经过简短的计算机训练,系统迅速掌握了哈雷尔的言语模式,随即植入物在包含50个词汇的测试中大放异彩,以99.6%的准确率记录并解析了他的意图。
这一惊人效果让科学家们不得不重新审视其研究路径,甚至从初步分析流程中剔除了一个预设阶段。在首次尝试发出“这有什么用?”的疑问时,哈雷尔的声音虽因激动而颤抖,笑容中却难掩泪光,这一幕成为了里程碑式的瞬间。
对于旁听者而言,哈雷尔口中的“怎么样”与“好”或许依旧模糊难辨,但对于那些深入他大脑神经元、与之紧密相连的电极而言,这些单词却非常清晰。屏幕上,一字一句,精准无误地映射出他内心深处始终想要表达的话语。
这个装置巧妙地规避了哈雷尔因疾病受限的面部肌肉,转而直接利用其运动皮层,这是语言指令的最初发源地。加州大学戴维斯分校的神经科学先锋谢尔盖·斯塔维斯基(Sergey Stavisky)指出:“关键突破在于将更多精密阵列精准植入大脑的语言中枢,实现了前所未有的精准度。”
图注:哈雷尔的妻子莱瓦娜(左)曾将这种疾病喻为“夜间的窃贼”
次日,系统即展现出惊人能力,能识别超过12.5万个词汇,准确率高达90%,并首次成功构建出哈雷尔内心所想、完全自主表达的句子。更令人赞叹的是,这些句子以近乎哈雷尔本人的声音传达,这要归功于研究团队利用播客访谈及旧录音,对其患病前语音特征的深入模拟与还原。
在布朗大学与退伍军人事务部神经学家利·霍奇伯格博士(Leigh Hochberg)联合领导的临床试验网络中,哈雷尔曾言:“我在找一只猎豹。”这句独特且意外的表达,是他第二次自发说出,其独特性甚至让研究团队开始回顾视频,最终确认为一次解码过程中的微妙偏差。
然而,这句意外的“我在找一只猎豹”却悄然向房内的医生传递了一个重要信号:植入物已能捕捉哈雷尔最个性化的语言片段——原来,是他女儿阿雅(Aya)刚换上猎豹连体衣归家,激发了父亲参与她童真幻想的愿望。紧接着,哈雷尔继续说道:“我可爱的女儿,我等这一刻已经太久了。”
图注:哈雷尔大脑的3D打印模型,帮助科学家为其量身定制植入物
随着科学家对系统的不断训练与优化,其识别哈雷尔语音的能力愈发卓越。研究表明,在长达八个月的期间内,哈雷尔成功说出了近6000个独特词汇,而设备维持了97.5%的准确率,这一成绩已超越众多智能手机语音转录应用的性能,相较于过往研究更是实现了质的飞跃。以往的研究中,植入物的识别准确率仅约75%,意味着每四个单词中就有一个可能被误解。
Neuralink等装置虽能辅助光标操控,但哈雷尔的植入物则引领他踏入了一个更为广阔、复杂的语言交流水平。为哈雷尔做手术的神经外科专家戴维·布兰德曼博士(David Brandman)说:“这项技术已从科学演示蜕变为日常工具,让凯西(哈雷尔)每日都能流畅地与亲友对话。”
这一飞跃部分归功于ChatGPT等先进人工智能语言模型的助力。哈雷尔的植入物能够即时捕捉神经元活动,精准转换放电模式为元音、辅音因素,随后计算机巧妙地将这些声音片段汇聚成单词,进而构建成句,确保输出内容最贴近哈雷尔的真实意图。
在近期采访中,哈雷尔亲身展示了这一过程:在长时间的停顿中,电脑在静默间隙中编织他的思绪成句,他则通过屏幕微调字词,最终引导自己发出声音。不过,哈雷尔解码后的声音显得更为正式,这源于系统倾向于生成完整语句的特性。研究团队正致力于优化人工智能算法,以期更精准地捕捉并呈现哈雷尔独有的、非惯常使用的短语,让交流更加自然流畅。
这一新生角色仿佛为哈雷尔解锁了久藏心间的自我,他与伴侣重拾欢笑,共享生活的乐趣。哈雷尔深有感触地表示,正如学习新语言能激发潜藏的性格特质,他的语音解码器亦让他重拾那些曾因疾病而渐渐淡出的个性元素,即便在数字转换间略有变形,那份本真依旧。
他提及,设备偶尔会捕捉并重现他往昔的口吻,那些熟悉的词汇如“What up?”从他旧日的声音中流淌而出,令他忍俊不禁,直呼“我钟爱此景”。
图注:哈雷尔坦言,脑机接口和AI技术帮助他重新寻回了自我
此外,脑植入物还拓宽了哈雷尔在交流中的表达维度,同时也影响了周围人对他的话语反馈。现在,他可以自由地向五岁的女儿阿雅表达爱意,而这份爱的传递也促使后者更多向他敞开心扉。
哈雷尔还透露,过去探访的医护人员常误解其语言障碍为智力或听力缺陷所致,尽管实际情况远非如此。如今,他们不仅恢复了正常音量交流,且在触碰时更显细腻与尊重。对此,哈雷尔虽对需以脑部手术换取这一转变感到无奈,“但我已选择释怀”。
植入物亦激发了哈雷尔重归社交生活的憧憬,渴望重拾与远方老友的联系,那些因顾虑与羞赧而渐行渐远的情谊。哈雷尔说,这次,他将“以他们能接受的方式与他们重逢”,以此跨越长久以来因无法言语而形成的隔阂。他说:“这让我学会了宽恕。我期待告诉他们,一切都好,现在,是时候弥补过往了。”
至于该植入物是否适用于更严重的瘫痪患者,目前尚存疑问。毕竟,虽然哈雷尔的语言能力有所退化,但并未完全丧失,这为研究增添了复杂性。
此外,尽管这项技术展现出显著的实用性,却未能有效缓解渐冻症患者及其家庭所承受的经济重压。哈雷尔的妻子透露,保险公司仅在患者接受临终关怀或停止工作并符合医疗补助条件时,才愿承担护理费用,这种情况无疑加剧了其他患者放弃延长生命治疗的无奈。
俄勒冈健康与科学大学神经学教授梅勒妮·弗里德-奥肯(Melanie Fried-Oken)指出,正是这种经济机制,无形中加剧了残疾群体的贫困化趋势,限制了他们接触并受益于前沿植入物等医疗技术的机会。
对于哈雷尔而言,生活在一个技术能够连接电脑与大脑,却无力解决最迫切财务困境的世界,无疑是一种复杂的情感体验。他直言:“我既感幸运,又心生愤慨!”
在采访中,哈雷尔谈及术后工作效率与独立性显著提升,这不仅令他自豪,也坚定了其帮助推广植入物的决心。每天早晨启动设备前,哈雷尔总希望以特别的测试语唤醒系统,通常是深埋在心底的一句歌词。
科学家们正全力以赴,致力于将这一梦想变为现实。在此之前,哈雷尔每天尝试以歌声让植入物伴随着旋律“苏醒”。最近,他选取了一首芝加哥乐队的经典老歌,其中一句歌词他尤为喜爱,常对妻子深情朗诵:“若你此刻离我而去,你将带走我生命中最珍贵的部分。”
本篇文章来源“腾讯科技”,作者来自"金鹿"
【开源免费】Whisper是由openai出品的语音转录大模型,它可以应用在会议记录,视频字幕生成,采访内容整理,语音笔记转文字等各种需要将声音转出文字等场景中。
项目地址:https://github.com/openai/whisper
在线使用:https://huggingface.co/spaces/sanchit-gandhi/whisper-jax
【开源免费】XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。它帮助开发者提供一个简单易用的平台,可以对大语言模型(LLM)和多模态图文模型(VLM)进行预训练和轻量级微调。XTuner 支持多种微调算法,如 QLoRA、LoRA 和全量参数微调。
项目地址:https://github.com/InternLM/xtuner