Sora文生视频火爆出圈！清华大学公布文生视频专利

叮当号2月20日消息，2月16日，OpenAI发布其首款文生视频大模型Sora。

Sora可根据文字提示生成60秒视频，输出视频堪比影视CG，一经发布火爆出圈。

据国家知识产权局网站显示，2月2日，清华大学申请的“一种定制化多主体文生视频方法、装置、设备及介质”专利公布。

专利摘要显示，该申请提供一种定制化多主体文生视频方法、装置、设备及介质，涉及神经网络技术领域。

申请包括：获取多个主体分别对应的主体文本表述以及主体图像；基于多个主体分别对应的主体文本表述以及主体图像，获取混合文本以及组合图像。

将混合文本以及组合图像输入文生视频模型，生成第二噪声预测值，并基于第二噪声预测值与组合图像，获取第二损失和第三损失；基于第一损失、第二损失与第三损失，对文生视频模型进行优化，得到优化的文生视频模型。

该申请通过多种损失对文生视频模型的参数进行优化，使优化的模型基于文本描述生成视频中的图像时，文本描述与定制化主体保持一致，且在每个主体在生成过程中的特征不会发生混淆的同时消除合成痕迹。