国内团队实现脑机接口「全谱汉语解码」，Top 3准确率近乎100%的重大突破

今年八月，两篇背靠背《自然》文章展示了脑机接口在语言恢复方面的强大能力，单现有的语言脑机接口技术多是为「英文等字母语言」体系构建而成，针对「汉字等非字母体系」的语言脑机接口系统研究仍是空白。

最近，先进神经芯片中心默罕默德·萨万教授团队，自然语言处理实验室张岳教授团队和朱君明教授团队联合发布了他们最新的研究结果，实现了脑机接口全谱汉语解码，一定程度弥补了国际上汉语解码脑机接口技术的空白。

图片

论文地址：https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

此项研究通过立体定向脑电技术（SEEG）采集所有普通话汉字发音过程对应的大脑内神经活动信号，结合深度学习算法和语言模型，实现了对全谱汉字发音的解码，建立起覆盖所有汉语普通话字符发音的汉语脑机接口系统，实现了大脑活动到完整普通话句子的端到端输出。

脑机接口解码汉语

BCI，即脑机接口，被广泛认可为未来生命科学和信息技术的交叉融合领域的核心。这是一个具有重要社会价值和战略意义的研究方向

脑机接口技术是一种新型的信息传输渠道，旨在为人类或动物的脑部与外部设备之间建立信息交换的连接通路。它使得信息可以绕过原有的肌肉及外围神经通路，从而实现与外部世界的连通，从某种程度上替代人类的运动、语言等功能

汉语作为一种象形和音节结合的语言，具有超过50000个字符，与由26个字母组合而成的英语具有显著不同，因此这对于现有的语言脑机接口系统来说是一个巨大的挑战。

为了解决这个问题，研究团队在过去三年里深入分析了汉语的发音规则和特点。他们从汉语发音音节的声母、声调和韵母三个要素出发，并结合拼音输入系统的特点，设计了一个全新的适用于汉语的语言脑机接口系统

研究小组创建了一个超过100小时的汉语语音-SEEG数据库，他们设计了一个涵盖所有407个汉语拼音音节以及汉语发音特点的语音库，并同步收集了脑电信号

该系统通过训练人工智能模型来构建预测模型，用于汉字发音音节三要素（声母、声调和韵母）的预测。最后，该系统通过一个语言模型将所有预测得到的元素进行整合，并结合语义信息生成最可能的完整汉语句子

图片

研究小组对一个脑机接口系统在日常汉语环境中的解码能力做了评估。在超过一百次随机选择的、由两个字符到十五个字符组成的复杂交流场景的解码测试中，所有参与者的字符错误率中位数平均为29%，有些参与者通过脑电解码得到的句子完全正确率达到了30%

相对高效的解码性能得益于三个独立音节元素解码器的优秀表现和智能语言模型的完美配合。特别的是在分类21个声母方面，声母解码器的准确率超过了40%（超过3倍基准线），并且Top 3正确率几乎达到了100%；而用于区分4个声调的声调解码器的准确率也达到了50%（超过2倍基准线）。

智能语言模型在整个语言脑机接口系统中表现突出，除了三个独立音节元素解码器的重要贡献外，其强大的自动纠错能力和上下文联系能力也起到了关键作用

图片

这项研究为汉语这种意音文字语言的BCI解码研究提供了全新视角，也证明了通过强大的语言模型可以显著提高语言脑机接口系统的性能，为未来意音文字语言神经假肢研究提供了新的方向

这项工作的意义在于，它预示着神经系统疾病患者很快就能通过意念来控制计算机生成汉语句子，从而恢复交流能力！

参考资料：

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1