阿里mPLUG团队近期发布了一项新成果——通用多模态大模型mPLUG-Owl3，这款模型专为理解复杂多图和长视频内容设计。mPLUG-Owl3在提升推理效率方面实现了显著突破，它能将First Token Latency降低6倍，并在单张A100显卡上处理的图像数量提升至400张，这意味着一部2小时的电影仅需4秒即可完成分析。重要的是，效率的飞跃并未牺牲模型的准确性，mPLUG-Owl3在多模态场景的多个基准测试中均达到了最佳水平。
团队展示了mPLUG-Owl3的多样应用，包括多模态检索增强、多图推理及长视频理解。在多模态检索中，模型不仅能够准确回应查询，还能明确指出其决策依据；多图推理功能则使模型能够理解不同图像间的关联，进行逻辑推理；而对于长视频，mPLUG-Owl3能够在短时间内解析并回答关于视频细节的问题，解决了传统模型处理超长视频的难题。
mPLUG-Owl3之所以能高效融合多模态信息，得益于其创新的Hyper Attention模块。这一设计允许模型在不增加语言模型序列负担的情况下，直接与视觉特征交互，减少了计算成本和内存占用。通过精心设计的Cross-Attention操作，模型能够精准提取并利用视觉信息，同时保持了对文本的高效处理能力。此外，团队还引入了多模态交错的旋转位置编码MI-Rope，帮助模型更好地理解视觉元素在原始文本中的上下文关系，进一步优化了多模态融合效果。
实验结果显示，mPLUG-Owl3在广泛的多模态基准测试中取得了领先成绩，无论是在单图、多图还是长视频理解任务上，都展现出了超越以往模型的能力。特别是在处理长视觉序列时，即使面对大量无关图像的干扰，mPLUG-Owl3依然能保持较高准确率，体现了其在复杂场景下的鲁棒性。
近期，大模型领域迎来了一股激烈的价格竞争风潮。5月21日，阿里云官方宣布，其GPT-4级别的核心模型Qwen-Long的API调用费用大幅度下调至0.0005元每千Tokens，降价幅度高达97%
2024-05-21 20:47:46字节阿里再掀价格战随着OpenAI在2024年5月14日的展示，GPT-4o这一多模态大模型产品进入了公众视野，标志着信息获取方式可能迎来变革
2024-05-15 08:45:10GPT-4o为OpenAI开启超级入口5月14日，OpenAI在春季发布会上揭晓了其最新的旗舰AI模型——GPT-4o，这一模型以“全知全能”为目标，实现了实时的语音、文本、图像交互功能
2024-05-15 09:10:07OpenAI发布全新生成式AI模型GPT-4o
