字节跳动开源Bernini框架：实现视频生成与精准编辑的完美统一

字节跳动商业化技术团队近日正式开源了名为Bernini的全新视频生成与编辑框架。该框架核心主打“先理解、再生成”的协同机制，旨在有效解决传统模型由于无法精准理解复杂指令而导致的画面失控、帧间闪烁等行业痛点。

目前，Bernini在字节自建的测试中已稳居行业 第一 梯队。其推理代码与第二阶段模型Bernini-R的权限已正式放开，包含完整功能的全版本也将在近期迎来全面开放。

分离语义与渲染

Bernini在工作流上进行了创新，将整个处理过程拆分为“语义规划”与“视觉渲染”两个独立部分。系统首先通过多模态大模型规划器深度解析输入素材并勾勒出“语义草图”，随后再由渲染器将规划好的目标转化为稳定、连续的视频画面。

得益于这种清晰的分工，该框架在可控编辑上展现出了 极高 的实用价值。用户不仅能通过简单指令让画面中的天气、季节和视觉风格发生自然变化，还能实现对镜头视角、焦点以及主体动作的精准控制。

丰富视觉参考维度

除了传统的文本操控外，Bernini还支持引入图片和视频作为视觉参考，大幅提升了创作的一致性。在视频编辑场景中，它可以将特定材质或海报精准植入目标区域，并确保边界不破、透视不乱。

在新视频生成场景中，该模型不仅支持单图和多角度参考生成，还能实现关键帧到连续镜头的演变。为了解决多视觉片段串联时模型容易混淆的难题，团队还专门引入了专属的位置编码机制，以确保分清参考素材与输出目标。

项目：https://bernini-ai.github.io/