【讲座题目】基于多模态大模型的智能理解与内容生成

【时  间】2022年12月24日    上午：9:10-10:00

【地  点】保定校区 计算机系 自动化系      腾讯会议：841-767-337

【主 讲 人】王金桥，研究员/博士生导师，中科院自动化所

【主讲人简介】

王金桥，中国科学院自动化研究所紫东太初多模态中心常务副主任，研究员，博导，武汉人工智能研究院院长，中国科学院大学人工智能学院岗位教授，多模态人工智能产业联盟秘书长，主要从事多模态大模型、视频分析与检索、大规模目标识别等方面的研究。共发表包括IEEE国际权威期刊和顶级会议论文300余篇，国际期刊50余篇，国际会议220余篇。完成国家标准提案3项，发明专利36项，10项国际视觉算法竞赛冠军，北京市科技进步一等奖，吴文俊人工智能科技进步二等奖，中国发明创新银奖。

【报告内容简介】

自从GPT/Bert模型提出以来，基于自监督学习的预训练模型迎来了爆发式发展。当前包含文本、语音、图像、视频等多种模态数据的信息在不断融合，预训练模型正由单模态迈向多模态自监督学习，我们通过跨模态多任务自监督学习融合文本、语音、图像、视频海量弱相关的多模态数据，开拓性地实现了图像、文字、语音和视频等不同模态数据之间的统一表示和互相生成，基于国产化基础软硬件平台打造了紫东太初大模型开放服务平台，既可以实现一站式低代码的模型微调和模型部署，支持跨模态理解和跨模态生成，在智慧文旅、智慧城市、智能制造和智慧医疗等多个领域实现了落地应用。