“《外国语文》大家谈”第四讲——“人工智能中的大语言模型”成功举办

时间: 2024-06-14     浏览次数: 

6月13日下午,《外国语文》编辑部成功举办“外国语文大家谈”第四期。本期讲座由冯志伟教授主讲,四川外国语大学姜孟教授主持,广东外语外贸大学杜家利教授、中国传媒大学胡凤国副教授参与对谈。本次活动以腾讯会议的形式开展,《外国语文》微信视频号同步直播。本次活动吸引了众多从事计算机语言学、数字人文研究、语言智能研究、人工智能与人文社科交叉研究的专家学者。本活动遵循“以文促研、以论集思、以谈激创”的思路,进一步推进了《外国语文》编辑部与从事相关研究的专家、学者与读者的深度交流,体现了《外国语文》所刊论文的学术延展性与影响力。

 

冯志伟教授首先从英国数学家图灵1930年代提出的“图灵机”切入,说明计算机诞生前的计算原型,指出该机器预设的自然语言处理问题;介绍了1950年代的图灵测试,提及1956年开展的达特茅斯会议,进一步阐明McCarthy提出的“计算机与语言的跨学科研究可能”,证实了人工智能与自然语言处理的内在关联。基于自然语言处理与人工智能的交叉发展,冯教授进而列出基于规则的语言模型(Rule-based Language Model,RLM)、基于统计的语言模型(Statistics-based Language Model,SLM)、基于神经网络的语言模型(Neural-Network-based Language Model,NLM)以及大语言模型(Large Language Model,LLM)四大基本模型,证明语言模型的研制与人工智能间的密切联系。此后,讲座以大语言模型着手,梳理了其发展的四大阶段,主要涉及第一阶段的Transformer、BERT、T5、GPT等参数递增的语言模型;第二阶段对语言模型进行微调的ICL、InstructGPT、WebGPT等学习方法;以及第三阶段大语言模型在问题回答、文稿撰写、代码生成、数学解题等诸方面的深度延展。

此后,冯教授介绍了Transformer的组成部分:词元转化(Tokenization)、嵌入(Embedding)、位置编码(Positional encoding)、Transformer块、Softmax层,以及各部分的内涵、功能、原理,特别强调了“自注意层”在Transformer与“自循环神经网络”对比中“结合较远单词”的功能。另外,冯教授提到了神经语言模型的规模法则,说明算力、数据集大小、参数量与模型损失之间的负相关关系。在介绍完大语言模型后,讲座勾画了GPT从文本到多模态的迅猛发展的趋势,介绍了近期GPT通过“心智理论测试”以及趋近“人类高阶心智”的最新研究成果。最后,冯教授借“莫拉维克悖论”划定了人工智能(AI)与人类智能(HI)间的差异,指出机器翻译仍未达到人类翻译的程度,尚缺人类社会文化背景、审美价值判断、感知体认能力等“人文硬核(humanity core)”,但同时提倡我们在人工智能时代应拥抱技术,让机器翻译与人工翻译和谐共生,并注意生成式人工智能的内容治理。

 

讲座结束后,与谈人就人工智能、大语言模型、机器翻译等主题与冯教授进行了对谈和发散。

杜家利教授详细梳理了冯教授文章的基本框架,主要涉及大语言模型与大数据的促进关系、大语言模型的短板、我国大语言模型的建设和使用、大语言模型在翻译和研究中的应用以及荷叶理论。杜教授提出,大语言模型是人工智能的重大成果,是人类自然语言处理的重大成果,也是计算语言学的重大成果,值得语言学家关注。大语言模型深刻改变了过去的语言知识生产方式,呈现出语言学的研究主体从单一的个体钻研到团体的群智协同,语言学的研究过程从经验积累到数据分析,语言学的研究形式从单一学科到多学科,从单一的文本数据或语音数据到多模态数据,这是语言知识生产范式在方法论上的剧烈变革和重大创新,这样的变革和创新将会推动整个语言学的发展。

胡凤国副教授称,冯教授的讲座以及在《外国语文》发表的文章详细梳理了大语言模型的生成、逻辑、应用以及管理,可谓正当其时。冯教授文章可为我们学习大语言模型的良好切入点,同时也可以为我们快速掌握大语言模型相关概念、历史、要点提供了路线图,是人文学者快速进入技术的科普性导读。从翻译角度看,大语言模型在文学特别是诗歌的韵律以及意象重现方面仍较吃力,距离一种“全能翻译机”还存在一定距离。这也需要人类与机器分工合作、和谐共生,相信未来会有更多研究集中讨论“人机协同”相关主题。此外,大语言模型也是辅助教学的一大利器,能够提供快速、全面、典型的教学资源,我们同时也需注意大数据模型介入教学中的“机器幻觉”。最后,胡教授就“人工智能是否会存在自我意识”“大语言模型对人类语言的泛化影响”以及“人文社科学生如何进入大数据相关技术”提出问题。

姜孟教授最后总结道,冯教授讲座十分及时,既基础,又前沿;既专精,又广博;既分散,又系统;既人文,又科学,是相关研究的一次全面总结以及专业推进,值得语言相关研究专家学者参考学习。


学校地址:重庆市沙坪坝区壮志路33号四川外国语大学

邮编:400031

版权所有@四川外国语大学 渝ICP备19004104号-1 渝公网安备 50010602500177号