作者:赵鲁 来源:中国科学报 发布时间:2014-7-18
选择字号:
“耳听为虚,眼见为实”新解

 

“耳听为虚,眼见为实”这句古语常用来形容听来的传闻是靠不住的,亲眼看到才算是真实的。时至今日,这句话可能要被赋予生物学上新的解读了——美国犹他大学的生物工程师发现,我们理解语言时对视觉的依赖程度超过了此前的想象。在合适的条件下,眼睛看到的会覆盖耳朵听到的。换言之,如果某一刻我们耳朵没有听到别人所说的话,不要只怀疑自己的耳朵,也许是眼睛出问题了。

大脑处理语言时同时考虑视觉和听觉——但是如果二者有细微差异,那么视觉优先。其实,这个现象早就被人们发现了,被称为“麦格克效应”。20 世纪70 年代中期,英国萨里大学的心理学家哈里·麦格克(Harry McGurk)和约翰·麦克唐纳(John MacDonald)发现了一个有趣的现象:在给志愿者放映的一部影片中,一个音节“ga”在配音时发作了“ba”,而志愿者称听到的音节却是“da”。这样一来,视听信息联手创造出了第三种全新的声音。

“麦格克效应”是一个感性的认知现象,表现出在语音感知过程中听觉和视觉之间的相互作用,有时人类的听觉会过多地受到视觉的影响,从而产生误听的现象。当视觉看到的一种声音与耳朵听到的另一种声音相匹配时,会让人们神秘地察觉到第三种声音。

人们几十年前就知道“麦格克效应”,但是对它的来源却一无所知。而美国犹他大学的生物工程师艾略特·史密斯(Elliot Smith)等人的研究对破解这个疑问有所突破。

这项研究记录并分析了癫痫病人颞叶皮层(用来处理声音的区域)的脑信号。所有受试者都患有严重的癫痫,自愿在接受手术治疗的过程中进行实验。每个受试者的大脑表面直接放置了几个电极,然后观看一段视频。视频里的人会说“ ba” “va”“ga”“tha”这四个音——只不过声音和口型可能被调了包。

这段视频有三种可能的组合:第一种是声音和口型相对应,比如都是“ba”,这时受试者当然能准确判断出来。

第二种是口型明显和声音对不上的,比如口型是“ga”,声音却是“tha”——受试能发现这种明显差错并正确地听到“tha”。

第三种比较有趣,声音和口型只有细微的差异,口型是“ba”,声音却是“va”,这时受试者就会被蒙骗而以为自己听到了“ba”。这就是“麦格克效应”的表现——视觉覆盖了听觉。

史密斯等人测量了受试者观看视频时的脑电波活动,并由此判断出受试者鉴别声音的时候用到的是视觉信号还是听觉信号。当声音和口型完美吻合、或者毫无共同点,那么脑活动的增加和声音有相关性;然而,当“麦格克效应”发挥作用时,脑波活动的模式却和视觉信号相似了,统计分析在所有受试者身上都验证了这一结果。

“历史上第一次,我们能把大脑中的声音信号和人们误听的声音联系起来。我们证明了视觉能够影响大脑的听觉部分,从而改变人们对现实的感知——而且这种‘幻觉’还关不掉。”史密斯说,“人们以为物理世界的客观现象和我们的主观感受之间有很好的对应,但现在看来事实并非如此。”

“我们的结果表明,本来应该由声音驱动的神经元信号,被视觉信号覆盖了。”研究的另一位参与者布拉德利·格里格(Bradley Greger)说,“大脑实际上是完全忽视了耳朵里的物理声音,而选择使用视觉看到的信号。”

这项发现表明,人工听觉设备和语音识别软件不但依赖于麦克风,也能从摄像头获益良多。格里格说,这项新发现有助于研究者理解人类处理语言的驱动力,特别是发育中的婴儿试图把声音和唇形连接在一起的时候都发生了什么。该发现也有助于帮助研究者理解,当视觉和听觉信号没能正确地整合到一起的时候(比如失语症),究竟是语言处理的哪一部分出了问题。(赵鲁)

《中国科学报》 (2014-07-18 第15版 纵览)
 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 
SSI ļʱ
相关资讯 相关论文

图片资讯
基因“开关”控制植物细胞器演化速度 研究实现常温氢气异裂
全球海平面上升速度加快 海洋可控源电磁探测技术创新应用获突破
>>更多
 
一周资讯排行 一周资讯评论排行
 
编辑部推荐博文
 
论坛推荐