基本信息

属性	内容
标题	UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist
作者	Zhengyang Liang, Daoan Zhang, Huichi Zhou, Rui Huang, Bobo Li, Yuechen Zhang, Shengqiong Wu, Xiaohan Wang, Jiebo Luo, Lizi Liao, Hao Fei
机构	Singapore Management University, University of Rochester, University College London, NUS, CUHK, Stanford University
来源	2024 arXiv: 2406.04325v
总结	提出了一个开源的全能型多智能体框架 UniVA，利用“规划-执行”双智能体架构和基于 MCP 的工具链，统一了视频理解、生成、编辑等任务，解决复杂长程视频工作流问题。

---

摘要

虽然专用的 AI 模型在孤立的视频任务（如生成或理解）上表现出色，但现实世界的应用往往需要结合这些能力的复杂迭代工作流。为了弥补这一差距，我们推出了 UniVA，这是一个面向下一代视频通用工具（Video Generalist）的开源、全能多智能体框架，它将视频理解、分割、编辑和生成统一到了连贯的工作流中。 UniVA 采用 “规划-执行”（Plan-and-Act）双智能体架构 来驱动高度自动化和主动的工作流：

* 规划智能体（Planner Agent）：解释用户意图，并将其分解为结构化的视频处理步骤。
* 执行智能体（Executor Agent）：通过模块化的、基于 MCP（Model Context Protocol） 的工具服务器（用于分析、生成、编辑、追踪等）来执行这些步骤。

通过分层多级记忆（Hierarchical Multi-level Memory）——包含全球知识、任务上下文和用户特定偏好——UniVA 维持了长程推理能力、上下文连续性以及用户个性化。

为了全面评估 UniVA，我们提出了 UniBench，这是一个包含 745 个复杂多步骤查询的基准测试，涵盖生成、理解、编辑及其组合任务。实验表明，UniVA 在处理复杂视频任务方面显著优于现有的专有模型（如 Claude 3.5 Sonnet 和 GPT-4o），确立了其作为视频领域多功能且强大的开源助手的地位。

基本信息

属性	内容
标题	ShareGPT4Video： Improving Video Understanding and Generation with Better Captions
作者	Lin Chen, Xilin Wei, Jinsong Li, Xiaoyi Dong, Pan Zhang, Yuhang Zang, Zehui Chen, Haodong Duan, Bin Lin, Zhenyu Tang, Li Yuan, Yu Qiao, Dahua Lin, Feng Zhao, Jiaqi Wang
机构	USTC, CUHK, PKU, Shanghai AI Lab
来源	2024 arXiv： 2406.04325v1
总结	提出“差分滑动窗口”字幕生成策略，构建了包含大规模高质量密集字幕的数据集及高效字幕模型，显著提升了视频理解（LVLM）与生成（T2VM）任务的性能

---

摘要

本文提出了 ShareGPT4Video 系列工作，旨在通过密集且精确的字幕促进大视频语言模型（LVLMs）的视频理解能力和文本生成视频模型（T2VMs）的视频生成能力。该系列包含三个部分：

1.  ShareGPT4Video 数据集：包含 40K 由 GPT-4V 标注的视频密集字幕，涵盖不同的视频时长和来源，通过精心设计的数据过滤和标注策略开发而成。
2.  ShareCaptioner-Video 模型：一个适用于任意视频的高效且能力强大的字幕生成模型，并利用它标注了 480 万（4.8M）个高质量美学视频。
3.  ShareGPT4Video-8B 模型：一个简单而出色的 LVLM，在三个先进的视频基准测试中达到了 SOTA 性能。

为实现这一目标，除去不可扩展且昂贵的人工标注外，我们发现直接使用 GPT-4V 通过简单的多帧或帧拼接输入策略生成的字幕细节较少，且有时会出现时间上的混淆。我们认为设计高质量视频字幕策略的挑战在于三个方面：

1.  帧间精确的时间变化理解。
2.  帧内详细的内容描述。
3.  针对任意长度视频的帧数可扩展性。

为此，我们精心设计了差分视频字幕策略（Differential Video Captioning Strategy），该策略在为任意分辨率、长宽比和时长的视频生成字幕时，具有稳定、可扩展且高效的特点。基于此策略，我们构建了 ShareGPT4Video，其中包含 40K 涵盖广泛类别的高质量视频，其生成的字幕包含丰富的世界知识、对象属性、摄像机运动，以及至关重要的、对事件的详细且精确的时间描述。基于 ShareGPT4Video，我们进一步开发了 ShareCaptioner-Video，这是一个卓越的字幕生成器，能够高效地为任意视频生成高质量字幕。我们利用它标注了 480 万个美学视频，并在 10 秒文本生成视频任务上验证了其有效性。在视频理解方面，我们在几种当前的 LVLM 架构上验证了 ShareGPT4Video 的有效性，并提出了我们卓越的新模型 ShareGPT4Video-8B。所有的模型、策略和标注都将开源，我们希望该项目能成为推动 LVLMs 和 T2VMs 社区发展的关键资源。