密码:无
言语交流者的文化背景制约了个体通过言语与人声编码与解析情绪。本讲座将以嗓音情绪作为研究对象,通过实验心理学范式,结合眼动追踪、门控范式、声学分析、机器学习等方法探讨东西方文化群体在提取嗓音中情绪信息的时间进程上的差异,以及利用嗓音情绪信息解析跨通道视觉信息上的差异,并揭示方言经验对人工智能学习嗓音情绪信息解析时的贡献。
Culture constrains the way how individuals encode and decode emotion in speech. This talk will focus on recent cross-cultural studies on vocal emotion recognition in our lab drawing upon methodologies in experimental psychology, including eye-tracking, gating paradigms, acoustic analyses and machine learning. The findings revealed how eastern and western cultural members extract emotional signals from voices in different time courses, and integrate vocal-facial information in multimodal displays, and showcased how dialectal experience plays a role in training AIs to learn to recognize emotions from human voices in different dialects.
蒋晓鸣
蒋晓鸣,男,上海外国语大学语言研究院教授、博士生导师,主要从事心理与神经语言学的科学研究与人才培养工作。2021年入选爱斯维尔外国语言文学高被引学者,研究成果被国际言语沟通学会(ISCA)与欧洲信号处理学会(EURASIP)评选为Speech Communication(2017-2022年度)最佳论文奖。入选上海市青年拔尖计划、曙光学者计划等。目前担任Bibliography of Pragmatics Online副主编,Frontiers in Psychology(Language Section)客座副主编,《心理科学》编委,以及40多家国际SSCI/SCI刊物的审稿人。主持国家自然科学基金面上项目、上海市自然科学基金面上项目、上海市哲学与社会科学规划课题等,参与国家社科基金重大项目2项。2021年主持《心理语言学》课程入选上海市本科重点课程建设。曾获得上海外国语大学三全育人先进个人、优秀教学奖等。2022年指导学生团队入选教育部“三下乡”推普助力乡村振兴团队,指导大学生创新创业团队成功申报上海市级创新创业项目,获互联网+创新创业大赛校级银奖、铜奖,上海外国语大学致远计划一等奖等。
主要方向为心理语言学和神经语言学。采用行为、神经电生理、神经成像等手段探讨健康与疾病人群言语交流和互动过程中的人声与嗓音多模态表情编码和解码、文化社会情感的言语信息加工、以及语言活动中的认知运算及其应用。近年来在多个SCI与SSCI收录期刊上发表近50篇研究论文,第一与通讯作者近30篇,出版编著4本(主编),译著1本。
新闻报道