相机控制功能

简介

Gen-3 Alpha Turbo(Gen-3 Alpha系列中的一个高效模型)以更低的成本提供更快的生成速度。Turbo模型在所有计划等级中都可用。

相机控制(Camera Control)功能允许你在使用Gen-3 Alpha Turbo模型的输入图像时指定相机移动方向和强度。

我们建议将相机控制与文本提示结合使用,以获得最佳效果。

本文概述了可用的各种相机控制选项、文本提示建议、高级相机控制配置,并提供了大量参考示例。

规格信息

规格(Spec) Gen-3 Alpha Turbo
成本(Cost) 每秒5积分
无限计划的探索模式(Explore Mode) 支持
平台可用性(Platform availability) 网页端
基本提示输入(Base prompt inputs) 图像(必需)
文本(推荐)

访问相机控制

首先导航到生成会话(Generative Session)。

相机控制目前在Gen-3 Alpha Turbo模型上可用,请从左下角下拉菜单中选择此模型。

然后,从左侧工具栏选择相机(Camera):

CameraControlNew.png

这将带你进入相机控制提示窗口,在这里你可以上传图像、编写文本提示并配置控制值。

相机控制方向

相机控制有六个移动方向选项,以及一个静态相机(Static Camera)复选框用于防止相机移动

方向 描述 文本提示示例 输出示例
水平(Horizontal) 相机沿X轴移动 camera glides right
垂直(Vertical) 相机沿Y轴移动 camera slightly glides up
平移(Pan) 相机从固定点水平转动 camera pans to position directly in front of the woman
倾斜(Tilt) 相机从固定点垂直倾斜 camera tilts to an upwards angle
缩放(Zoom) 相机靠近或远离焦点 camera zooms out
旋转(Roll) 相机从固定点旋转 camera rotates to the right while maintaining focus on the subject

多个相机控制可以组合使用以实现更复杂的相机运动。配对类似的控制,如平移(Pan)与水平(Horizontal)控制或倾斜(Tilt)与垂直(Vertical),可以进一步改善效果。

相机控制值

每个设置的值代表相机运动的速度和强度

每个相机控制的默认值为0,表示该控制类型未激活。如果没有激活值,相机控制完全不会被引用。

例如,如果你在提示中输入"zoom out"但不使用相机控制,这些0值不会覆盖你的文本提示。此外,将所有值设置为0不会产生静态相机运动的输出。

值离0越远,输出中的相机运动就越多。

设置水平值为10会提供最强烈的向右移动,而-10则表示最强烈的向左移动。

相机速度 示例值 示例提示 输出
0.1-1 最小(Minimal) Zoom: 0.1 camera slightly zooms. natural motion.
2-3 微妙(Subtle) Zoom: 2.0 camera slightly zooms. clouds and grass flow in the wind.
4-6 中等(Moderate) Zoom: 5.0 camera zooms. clouds and grass flow in the wind.
7-10 强烈(Intense) Zoom: 10.0 camera soars at hyperspeed as it zooms into the monument.

与输入图像的交互

相机控制值并不是固定的,它们会根据主体与相机的距离而变化。这意味着对于以主体为焦点的图像的某个数值,不会为完全不同的场景或以环境为焦点的输入图像提供相同风格的结果。

下表展示了在三种不同类型的输入图像上使用相同的相机运动值,以说明相同的值如何在不同输入类型中表现:

方向 文本提示 人像 中景 环境
水平(Horizontal) -5.0 camera glides to the left
垂直(Vertical) -4.0 camera glides down
平移(Pan) -2.0 camera pans
倾斜(Tilt) 2.0 camera tilts upwards
缩放(Zoom) -5.0 camera zooms out
旋转(Roll) 10 camera rotates to the right

相机控制与文本提示

虽然不是必需的,但将相机控制与文本提示结合使用会大大提高可控性和对你设想的运动的整体遵循度,特别是在使用较高的相机控制值时。

例如,一个强烈的缩放出镜头可能会受益于描述片段结尾所需场景的文本提示。如果不提供这些细节,模型将尽其所能填充剩余场景,这可能导致不太理想的结果。

你的文本提示也可以用来指示角色和场景运动。

下表包含了一个没有提示、一个结束场景描述和一个主体运动提示的示例:

方向,值 文本提示 输出
缩放(Zoom): -10 (无)
缩放(Zoom): -10 相机缩放出去。主体站在一片空地上,四周环绕着高大成熟的仙人掌。
(原文:the camera zooms out. the subject stands in a clearing surrounded by a tall population of matured cacti.)
缩放(Zoom): -10 相机缩放出去,同时主体开始向相机跑来。
(原文:the camera zooms out as the subject begins running towards the camera.)

静态相机

静态相机(Static Camera)复选框将帮助减少输出视频中的相机运动。这个设置在使用写实和电影风格的输入图像时会产生最一致的结果,但不要害怕尝试不同类型的输入。

使用此设置时,建议包含文本提示来引导主体和场景运动:

文本提示 输出
女子动态地前后摆动。她轻轻踢出双腿,向相机方向摆动,然后又远离相机。动态运动。
(原文:the woman dynamically swings back and forth. she gently kicks out her legs and swings towards and away from the camera. dynamic motion.)

视频扩展功能(Expand Video)

简介(Introduction)

视频扩展(Expand Video)功能可以重新构想和重新构建现有视频到不同的格式。

使用传统裁剪方式调整素材尺寸通常会导致重要细节被删除。视频扩展功能不是删除细节,而是在输入视频的边缘之外添加内容,以生成新的格式。

本文将概述使用视频扩展功能的步骤、不同的提示方法等内容。

规格信息(Spec Information)

规格(Spec) Gen-3 Alpha Turbo
成本(Cost) 5秒或更短:25积分
超过5秒:50积分
最大时长(Maximum duration) 10秒
最小输入尺寸(Minimum input dimensions) 620x620
最大输入大小(Maximum input size) 64mb
无限计划的探索模式(Explore Mode on Unlimited Plans) 支持(Yes)
平台可用性(Platform availability) 网页端(Web)
输出分辨率(Output resolutions) 1280x768
768x1280

文章要点(Article Highlights)

  • 竖向视频将生成横向输出,横向视频将生成竖向输出,方形视频则允许你选择输出尺寸。
  • 视频扩展功能在大多数情况下无需提示即可良好工作。如需更多控制,可以添加文本或图像提示。
  • 使用视频第一帧的扩展图像作为引导图像可获得最佳效果。
  • 使用不完全匹配的扩展图像可能会导致短暂的视觉跳跃。
  • 你可以通过点击重用设置(Reuse settings)旁的下拉菜单,然后在之前扩展的输出上选择视频扩展(Expand Video)来多次扩展视频。

输入视频的最佳实践(Best Practices for Input Videos)

  • 接近传统宽高比
  • 宽度和高度最小为620像素
  • 主体(如果有)接近画面中心
  • 无图形或文字
  • 配合文本提示或匹配的引导图像使用

步骤1 - 选择扩展视频

首先导航到Runway仪表板中的生成会话(Generative Session),从左侧工具栏选择视频扩展(Expand Video)。

接下来,选择要扩展的视频。你可以直接从素材库(Assets)中选择现有视频,或通过拖放上传新视频。

视频扩展功能将根据你选择的输入视频尺寸,将视频重新构建为横向或竖向格式:

输入视频(Input Video) 输出宽高比(Output Aspect Ratio)
横向(Landscape) 768x1280(竖向)
竖向(Vertical) 1280x768(横向)
方形(Square) 768x1280或1280x720

总之,选择宽度大于高度的输入视频将创建竖向输出,而高度大于宽度的输入视频将创建横向输出。使用方形输入视频时,你可以在竖向或横向输出之间选择。

输入视频的宽度和高度必须至少为620像素。

任一方向远小于传统宽高比的视频将不被接受。例如,620x1280的视频比传统9:16(720x1280)竖向视频窄100像素,选择时会出现错误。

选择视频后,你会看到边界框预览,显示生成后将获得的更新尺寸。

使用方形输入视频时,可以通过尺寸选择按钮选择所需的输出尺寸:

步骤2 - 配置视频扩展提示

视频扩展功能在大多数情况下无需提示即可良好工作,但包含提示将使你对输出有更多控制。

使用文本提示(Using a Text Prompt)

在编写视频扩展提示时,主要关注描述你想在扩展区域(expanded areas)看到的内容。

虽然输入视频会自动引导大部分场景细节,但你可以简要提及它以确保视觉一致性。但是,避免详细描述现有视频内容,因为这可能导致意外结果。

使用引导图像(Using a Guidance Image)

你还可以通过选择添加第一帧图标或将图像拖放到画布来添加引导图像。

使用输入视频第一帧的扩展图像在使用引导图像时将提供最佳结果。使用输入图像来引导生成时,不需要包含文本提示。

如果使用的图像与视频第一帧不完全匹配或对齐,可能会在输出视频开始播放时造成短暂的视觉跳跃。如果出现这种情况,请确保图像与视频正确对齐,或改用文本提示。或者,你也可以从视频中裁剪掉第一帧。

以下是同一输入视频使用不同提示方法的示例:

输入视频(Input video) 文本提示(Text prompt) 引导图像(Guidance Image) 输出(Output)
无(None) 无(None)
前景有熔岩的洞穴中(In a cave with lava in the foreground) 无(None)
无(None)

步骤3 - 生成和迭代

在开始生成之前,你可以将鼠标悬停在时长(Duration)图标上查看预估的积分成本。

确认积分成本后,点击生成(Generate)开始处理视频扩展生成。

你可以在会话中滚动浏览继续生成的内容。你还可以在素材库(Assets)中访问已完成的视频,它们默认会保存在生成视频(Generative Video)文件夹中。

多次扩展视频

你可以通过点击重用设置(Reuse settings)旁的下拉菜单,然后在之前扩展的输出上选择视频扩展(Expand Video)来多次扩展视频。

关键帧功能(Keyframes)

简介(Introduction)

Gen-3 Alpha是即将推出的一系列模型中的第一个,与之前几代模型相比,在保真度、一致性、运动性和速度方面都有所提升。

Gen-3 Alpha Turbo是Gen-3 Alpha系列中一个更快速、更高效的模型,以更低的成本提供更快的生成速度。Turbo模型在所有计划等级中都可用。

关键帧(Keyframes)功能允许你配置起始、中间和/或结束帧,以在Gen-3 Alpha中创建它们之间的平滑过渡。在Gen-3 Alpha Turbo中,你可以输入第一帧和最后一帧。

本文将概述如何在Gen-3中使用关键帧、提示技巧、可用设置等内容。

规格信息(Spec Information)

规格(Spec) Gen-3 Alpha Gen-3 Alpha Turbo
成本(Cost) 每秒10积分 每秒5积分
支持的时长(Supported durations) 5秒
10秒
5秒
10秒
无限计划的探索模式(Explore Mode on Unlimited Plans) 支持(Yes) 支持(Yes)
平台可用性(Platform availability) 网页端/移动端(Web/Mobile) 网页端/移动端(Web/Mobile)
最大图像大小(Maximum image size) 64mb 64mb
最大关键帧输入(Maximum Keyframe input) 1张图像(第一帧最后一帧) 3张图像(第一帧、中间帧和最后一帧)
输出分辨率(Output resolution) 1280x768 1280x768
768x1280
帧率(Frame rate) 24fps 24fps

步骤1 - 选择输入关键帧

首先导航到仪表板中的生成会话(Generative Session)。

在这里,确保从左下角下拉菜单中选择了Gen-3 AlphaGen-3 Alpha Turbo模型。

拖放新图像或从素材库(Assets)中选择现有图像来配置你的第一帧(First)关键帧。选择图像将打开关键帧编辑器:

Screenshot 2024-12-19 at 9.55.29 AM.png

如果你使用的是Turbo,点击空的关键帧位置添加更多图像。你也可以在这里拖放图像来上传。

你可以将光标悬停在每个输入上,显示移动或删除关键帧的控件:

Screenshot 2024-12-19 at 9.58.42 AM.png

在选择关键帧图像时,请记住,获得所需过渡效果的能力将高度依赖于你的输入图像的复杂性:

  • 共享相似主体、场景和风格的图像将提供更一致、自然和平滑的结果。
  • 在主体、场景或风格上差异很大的图像可能会创造出更具实验性或意想不到的结果。

上传完图像后,你就可以开始编写提示了。

步骤2 - 编写提示

我们强烈建议在生成之前包含文本提示。

你可以在没有提示的情况下开始关键帧生成,但包含一个清晰描述所需运动风格的提示将提供更多可控性,并为你的生成设定成功基础。

尽量让你的提示集中在从第一帧到最后一帧所需的运动上。

以下是Gen-3 Alpha Turbo中第一帧和最后一帧的一些示例,以及使用的提示和相应的输出:

第一帧(First frame) 中间帧(Middle frame) 最后一帧(Last frame) 提示(Prompt) 结果(Result)
KeyframeBlobEx1.jpg   KeyframeBlobEx2.jpg 独立的液体滴动态碰撞并融合在一起,形成单个胶状生物。动态流体,有弹性,反应性运动。生物四处张望。融化的液体。对运动有反应的流体。
(原文:individual blobs of liquid dynamically collide and fuse together to form a single goo creature. dynamic fluid, bouncy, reactive motion. the creature looks around. melting liquid. motion-reactive fluid)
KeyframeEx1.gif
Cloth.png   Jellyfish.png 房间内漂浮的布料制成的水母
(原文:A jellyfish made of cloth floating inside a room)
KeyframeEx3.gif
kf1.png kf2.png kf3.png 主体跳芭蕾舞。他们完全由闪烁和故障的电视雪花噪点构成。
(原文:subject dances ballet. they are made entirely of glitching and flickering tv static.)
Gen-3 Alpha Turbo 2545180308, subject dances balle, image-prompt, M 5.mp4 (1).gif

步骤3 - 生成视频

上传关键帧并编写提示后,你就可以开始生成视频了。

生成(Generate)按钮旁的下拉菜单中选择所需的时长。

在选择时长时,再次考虑两帧之间的差异程度可能会有帮助。

更复杂的过渡,例如最后一帧(Last)与第一帧(First)完全不同的情况,可能会从较长的10秒时长中受益。这将为生成提供更多时间来平滑地在两个输入之间过渡。

相反,为完全不同的关键帧选择5秒时长可能会导致更突兀的变化。

对你选择的设置感到满意后,点击生成(Generate)按钮。

你可以在会话中滚动浏览继续生成的内容。你还可以在素材库(Assets)中访问已完成的视频,它们默认会保存在生成视频(Generative Video)文件夹中。

Act-One功能(Act-One)

简介(Introduction)

Gen-3 Alpha是即将推出的一系列模型中的第一个,与之前几代模型相比,在保真度、一致性、运动性和速度方面都有所提升。

Act-One功能允许你通过上传驱动表演视频(driving performance)来为角色参考图像或视频注入生命力,精确地影响表情、嘴部运动等。

在本文中,驱动表演(driving performance)指的是将影响图像或视频的视频。角色图像/视频(character image/video)指的是将被驱动表演驱动的输入内容。

本文将概述如何在Gen-3 Alpha中使用Act-One功能、输入的最佳实践、可用设置等内容。

规格信息

规格(Spec) Gen-3 Alpha Gen-3 Alpha Turbo
成本(Cost) 每秒10积分,最低50积分 每秒5积分,最低25积分
最大输出时长(Maximum output duration) 30秒
无限计划的探索模式(Explore Mode on Unlimited Plans) 支持(Yes)
平台可用性(Platform availability) 网页端、iOS应用(Web, iOS app)
基本提示输入(Base prompt inputs) 视频(Video)
图像(Image)
输出分辨率(Output resolutions) 1280x768
768x1280
帧率(Frame Rate) 24fps

最佳实践

在开始之前,请查看这些最佳实践,以确保你的输入选择能为生成设定成功的基础。大多数输出问题都可以通过使用符合这些建议的输入来解决。

驱动表演(Driving Performance)

  • 光线充足,面部特征清晰(Well-lit with defined facial features)
  • 单个面孔,从肩部以上进行取景(Single face framed from around the shoulders and up)
  • 面向相机方向(Forward-facing in the direction of the camera)
  • 整个视频中面部都在画面内(Face is in frame for the entire video)
    • 确保面部不会移入移出画面(Ensure the face doesn't move in and out of the frame)
  • 清晰的嘴部运动和表情(Clear mouth movement and expressions)
    • 某些表情,如伸舌头,不受支持(Certain expressions, such as sticking out a tongue, are not supported)
  • 最小化身体和头部运动(使用角色图像时)(Minimal body and head movement (when using a character image))
  • 画面中没有面部遮挡(No face occlusions in frame)
  • 没有中断镜头的剪切(No cuts that interrupt the shot)
  • 遵循我们的信任与安全标准(Trust & Safety standards)

角色图像(Character Images)

  • 光线充足,面部特征清晰(Well-lit with defined facial features)
  • 单个面孔,从肩部以上进行取景(A single face framed from around the shoulders and up)
  • 面向相机方向(Forward-facing in the direction of the camera)
  • 遵循我们的信任与安全标准(Trust & Safety standards)

角色视频(Character Videos)

  • 整个视频中面部都在画面内(Face is in frame for the entire video)
  • 没有中断镜头的剪切(No cuts that interrupt the shot)
  • 光线充足,面部特征清晰(Well-lit with defined facial features)
  • 单个面孔,从肩部以上进行取景(A single-face framed from around the shoulders and up)
  • 面向相机方向(Forward-facing in the direction of the camera)
  • 遵循我们的信任与安全标准(Trust & Safety standards)

步骤1 - 上传驱动表演

首先导航到生成会话(Generative Session)中的仪表板

在这里,确保从左下角下拉菜单中选择了Gen-3 AlphaTurbo模型。你会在左侧工具栏找到Act-One图标:

在Act-One窗口的上半部分,拖放新视频或从素材库(Assets)中选择现有视频来添加你的驱动表演。

或者,你也可以直接在网页应用中录制驱动视频。

如果这是你第一次在Runway上录制视频,点击开始录制(Start recording)按钮。你的浏览器会请求访问摄像头和麦克风的权限。在Chrome浏览器上,选择允许(Allow)来授予权限:

权限获得批准后,你可以通过选择开始录制(Start recording)按钮开始录制。

将你的脸部居中放在圆圈中,然后选择红色录制按钮开始三秒倒计时,之后开始录制。

你可以点击停止(stop)按钮结束录制,或者使用空格键。查看你的视频,选择删除(Delete)重新开始,或者如果你对录制满意,选择使用此视频(Use this)。在Runway中录制的引导视频将保存到你的素材文件夹中。

驱动表演注意事项(Driving Performance Reminders)

你的驱动表演应始终面向正前方,即使你计划上传的角色参考处于不同角度。

如果你计划之后选择角色图像,应该尽量减少身体和头部运动。使用角色视频时,驱动表演中可以支持更多的头部运动。

在允许你生成之前,系统会对你的驱动表演进行初步的人脸检测。

以下是驱动表演及其输出的示例:

驱动表演(Driving performance) 输出(Output)
jamie_driving.gif
dion_driving.gif

上传完驱动表演后,你就可以选择你的角色参考了。

步骤2 - 选择角色参考输入

Act-One同时支持角色参考图像和视频。

在Act-One窗口的下半部分选择角色参考输入。从现有预设中选择,或切换到自定义(Custom)标签上传你自己的内容。

角色参考图像(Character Reference Image)

当驱动表演中的头部和身体运动最小化时,角色参考图像将提供最一致的结果。

如果使用预设图像,你可以使用分辨率切换器在横向和纵向预设之间切换:

或者,在使用自定义输入时,你可以在选择图像之后选择这些分辨率中的任何一个。

角色参考视频(Character Reference Videos)

角色参考视频支持驱动表演中更多的运动和灵活性。你可以使用外部录制的素材,或者使用包含主体的文本/图像到视频生成内容。

当使用时长超过角色视频的驱动表演时,角色视频将被反转(称为回旋镖效果)以适应驱动表演的长度。

如果你想在较长的驱动表演视频中避免回旋镖效果,我们建议在处理Act-One视频之前先扩展生成内容

示例角色参考输入(Example Character Reference Inputs)

Act-One可以支持多种输入类型,但遵循我们最佳实践的输入与更具实验性的输入相比,将提供更一致的结果。

下面的图表更详细地概述了我们的建议。标注为✅的变体在大多数情况下都能很好地工作,⚠️可能有时会工作或提供意外结果,而❌在大多数情况下可能不会提供理想结果。

这个图表的目的不是阻止实验,而是作为那些需要每次生成都令人满意的人的参考资源。如果你想探索Act-One的极限,不要害怕尝试这些建议之外的内容。

类别(Category) 变体(Variation) 示例(Example) 支持(Support)
角色类型(Character type) 人类(Human)
非人类(Non-human)
角色角度(Character angle) 正面/前视图(Forward-facing/Front view)
侧面视图(Profile view)
角色距离(Character distance) 肩部以上(Shoulders and up)
躯干以上(Torso and up)
全身(Full body) ⚠️
角色轮廓(Character silhouette) 中等复杂度(Intermediate)
复杂(Complex) ⚠️

步骤3 - 配置运动强度

你可以在生成之前配置运动强度值来获得对输出的额外控制。
点击设置(Settings)图标来配置这个值:

Settings.png

运动强度默认值为3。该值可以在1到5之间配置,较低的值会产生更稳定的效果,较高的值会输出更具表现力的运动。

以下是同一输入在不同值下的示例:

运动强度值(Motion Intensity value) 输出(Output)
1
3
5

步骤4 - 生成Act-One视频

你可以将鼠标悬停在时长模块上查看生成前的预估积分成本。

确认你对所选输入和积分成本满意后,点击生成(Generate)按钮。

你的视频将开始在当前会话中处理,每个视频完成后都可以查看。

了解Act-One定价(Understanding Act-One Pricing)

Act-One每秒收取10积分,最低5秒。这意味着5秒以下的驱动表演视频将收取50积分。

超过5秒最低限制后,每增加一秒收取10积分,部分秒数会计入并向上取整到最接近的小数。例如,5.6秒的驱动表演将收取56积分。

重复迭代和故障排除

大多数问题或错误都与你的驱动表演或角色参考输入有关,可以通过确保输入遵循推荐的最佳实践来解决。

以下是Act-One错误列表及其故障排除方法:

错误(Error) 故障排除(Troubleshooting)
无法在你的视频中检测到人脸。
(Unable to detect a human face in your video.)
确保驱动表演光线充足,面部未被遮挡且居中在画面中。
无法在你的图像中检测到人脸。
(Unable to detect a human face in your image.)
确保角色图像遵循最佳实践。
在视频中检测人脸时发生错误。请稍后重试。
(An error occurred while detecting a human face in your video. Please try again later.)
确保驱动表演中身体和背景运动最小化。
我们检测到你的视频中运动过多。
(We detected too much movement from your video.)
确保驱动表演中身体和背景运动最小化。
我们检测到你的视频中有不可用的音频。
(We detected unusable audio from your video.)
确保你的驱动表演的音频符合我们的信任与安全标准
此内容被我们的审核政策标记。
(This content was flagged by our moderation policy.)
确保角色输入符合我们的信任与安全标准

在某些情况下,你可能在生成之前没有遇到错误,但在输出中出现问题。这些边缘情况通常可以通过遵循最佳实践或重新运行生成来解决:

问题(Issue) 故障排除(Troubleshooting)
面部检测不当
(Face improperly detected)
使用遵循最佳实践的角色输入。
间歇性伪影
(Intermittent artifacts)
重新运行生成。

会话生成

简介(Introduction)

在使用生成视频工具时,在完善输入和输出的过程中,很容易产生许多相似镜头的变体。会话(Sessions)可以帮助你在生成视频工具中组织创建的视频。

对特定风格、场景或镜头进行迭代时,会话特别有用,因为它们允许你将这些相关的输出组合在一起,简化比较和完善工作的过程。

你可以随时通过选择会话列表(session list)图标来查看你的会话:

列表按最后一次用于开始生成的时间顺序显示会话。最近使用的会话将位于列表顶部。

开始新会话

每次打开生成会话(Generative Session)工具并提交生成时,都会创建一个新会话。会话将自动命名为类似于会话中第一次生成使用的文本提示的名称,但你也可以在生成之前指定会话名称。

如果你当前在现有会话中,想要开始新会话,请打开会话列表图标并点击+ 新建(+ New)。

返回之前的会话

你可以通过使用会话列表切换到所需的会话来访问之前的会话和生成内容。

在之前的会话中开始新的生成将使其移动到会话列表的顶部。

重命名现有会话(Renaming an existing session)

可以重命名现有会话以进行进一步组织。按照以下步骤重命名会话:

  • 展开会话列表
  • 点击要重命名的会话旁边的省略号(...)
  • 点击重命名(Rename)
  • 输入会话的所需名称
  • 点击重命名(Rename)完成

删除会话(Deleting a session)

你可以随时删除会话。删除会话不会删除其中的素材,这意味着你仍然可以通过素材库(Assets)文件夹访问任何生成内容。

按照以下步骤删除会话:

  • 展开会话列表
  • 点击要删除的会话旁边的省略号(...)
  • 点击删除会话(Delete session)
  • 在确认弹窗中确认或取消删除

请注意,会话一旦删除就无法恢复

视频到视频转换

简介

视频到视频转换(Video to Video)功能允许你通过使用文本提示或输入图像作为第一帧来改变视频的风格。

本文将概述如何在Gen-3 Alpha和Turbo模型上使用视频到视频转换功能、可用设置等内容。

规格信息

规格(Spec) Gen-3 Alpha Gen-3 Alpha Turbo
成本(Cost) 每秒10积分,向上取整到5秒增量 每秒5积分,向上取整到5秒增量
支持的时长(Supported durations) 最长20秒
无限计划的探索模式(Explore Mode on Unlimited Plans) 支持(Yes)
平台可用性(Platform availability) 网页端(Web)
支持的视频输入(Supported video inputs) 查看支持的文件类型
输出分辨率(Output resolutions) 1280x768 1280x768
768x1280
最大输入大小(Maximum input size) 64mb

步骤1 - 选择输入视频

首先导航到仪表板中的生成会话(Generative Session)。

在这里,确保从左下角下拉菜单中选择了Gen-3 AlphaGen-3 Alpha Turbo模型。

从你的素材中选择支持的视频文件,或拖放视频进行上传。

如果你的输入视频不是支持的分辨率,系统会提示你进行裁剪。

积分说明(Credit notes)

选择视频时,请注意积分按秒收取,但会向上取整到最接近的5秒增量。以下是基于视频长度和所选模型的一些积分成本示例:

  • 4秒的Gen-3 Alpha Turbo:25积分
  • 5秒的Gen-3 Alpha Turbo:25积分
  • 12.6秒的Gen-3 Alpha:150积分
  • 15秒的Gen-3 Alpha:150积分

我们建议选择5秒增量的视频以优化积分使用。超过20秒的视频将自动裁剪为输入的前20秒。

步骤2 - 编写提示

视频到视频转换功能可以通过强有力的文本提示或风格化的输入图像显著改变输入的风格。

文本提示(Text Prompts)

在大多数情况下,专注于所需风格的描述性提示将提供最佳结果。

本教程使用带有绿幕遮罩的示例,但你可以使用任何类型的视频输入。

输入(Input) 提示(Prompt) 输出(Output)
3D半色调CMYK风格。半色调打印点。漫画书。以青蓝色、黄色、品红紫色和黑色圆点层叠的鲜艳色彩。

提示:尝试使用自定义预设(Custom Preset)来加载精选的示例提示。请确保将紫色占位文本替换为你想包含的任何自定义内容。

简单的提示通常效果不错,但详细的提示更有效,会产生更接近你设想概念的结果。

图像提示(Image prompt)

或者,你可以上传图像来应用风格。重新风格化的第一帧是以你想要的艺术风格重新构想的视频开场帧。为获得最佳效果:

  • 保持与原始第一帧相同的构图
  • 清晰展示你想要的风格(卡通、绘画、素描等)
  • 使用视频的实际第一帧作为参考

输入图像将作为视频的第一帧,因此使用与输入视频第一帧匹配的风格化图像将提供最高水平的一致性和控制:

输入(Input) 视频第一帧(Input video first frame) 重新风格化的第一帧(Restyled first frame) 输出(Output)
bike.gif Comp 1 (0;00;00;00)_1.png notiansans_A_woodcut_illustration_of_a_man_with_round_glasses_5011f75d-26f9-4a5d-aefe-8d0eba6734b3_2.png bike_v2v.gif
2.gif 1.jpg 3.jpg 4.gif

使用与第一帧不匹配的输入图像可能会在输出视频开始播放时造成短暂的视觉跳跃。如果出现这种情况,请确保图像与视频正确对齐,或改用文本提示。或者,你也可以从视频中裁剪掉第一帧。

如果使用不匹配第一帧的输入图像,尝试增加结构转换值以获得更大的灵活性,让运动从视频应用到图像。

步骤3 - 配置设置

视频到视频转换功能有额外的设置,你应该在开始生成之前查看这些设置。

结构转换(Structure transformation)

此设置控制输入和输出之间的结构一致性。较低的值将产生保持原始视频结构的输出。较高的值将产生更抽象的输出。

结构转换值(Structure transformation value) 输出(Output)
0
5
10

固定种子(Fixed seed)

使用固定种子将允许你创建相似的生成内容。默认情况下此选项未选中,以给你提供各种各样的结果。

如果你想获得具有相似风格和运动的生成内容,可以复制并粘贴之前输出的种子。粘贴种子将自动选中该复选框。

宽高比(Aspect ratio)

在Turbo模型上,你可以在横向和纵向宽高比之间选择。

步骤4 - 生成视频

编写文本提示并配置设置后,你就可以开始生成视频了。

如果输入视频为20秒或更短,最终结果将匹配输入视频的长度。对于超过20秒的视频,只会使用前20秒。

你可以在会话中滚动浏览继续生成的内容。你还可以在素材库(Assets)中访问已完成的视频,它们默认会保存在生成视频(Generative Video)文件夹中。

文本/图像到视频转换(Text/Image to Video)

简介(Introduction)

Gen-3 Alpha是即将推出的一系列模型中的第一个,与之前几代模型相比,在保真度(fidelity)、一致性(consistency)、运动性(motion)和速度(speed)方面都有所提升。Gen-3 Alpha目前仅向标准计划(Standard plan)或更高等级的用户开放。

Gen-3 Alpha Turbo是Gen-3 Alpha系列中一个更快速的模型,可以以更低的成本生成内容。Turbo模型在所有计划等级中都可用,但需要输入图像。

本文将概述使用Gen-3 Alpha创建视频的步骤、可用设置等内容。

文章要点(Article Highlights)

  • Turbo模型需要输入图像,因此如果只需要文本提示,请选择Gen-3 Alpha模型
  • 在Gen-3 Alpha模型上使用文本到视频功能时,使用高度描述性的提示
  • 使用输入图像时,重点描述所需的运动
  • 单次生成可以延长最多三次

相关链接(Related Links)

规格信息(Spec Information)

规格(Spec) Gen-3 Alpha Gen-3 Alpha Turbo
成本(Cost) 每秒10积分(10 credits per second) 每秒5积分(5 credits per second)
支持的时长(Supported durations) 5秒(5 seconds)
10秒(10 seconds)
无限计划的探索模式(Explore Mode on Unlimited Plans) 支持(Yes)
平台可用性(Platform availability) 网页端、iOS(Web, iOS)
基本提示输入(Base prompt inputs) 文本(Text)
图像(Image)
文本(Text)
图像(必需)(Image Required)
文本字符限制(Text character limit) 1000字符(1000 characters)
输出分辨率(Output resolutions) 1280x768 1280x768
768x1280
关键帧支持(Keyframes support) 第一帧最后一帧(First or last frame) 第一帧、中间帧和最后一帧(First, middle, and last)
视频延长增量(Video Extension increments) 5或10秒(5 or 10 seconds) 8秒(8 seconds)
最大延长长度(Maximum extended length) 40秒(40 seconds) 34秒(34 seconds)
帧率(Frame Rate) 24fps

步骤1 - 编写提示

首先导航到生成会话(Generative Session)中的仪表板

在这里,确保从左下角下拉菜单中选择了Gen-3 AlphaGen-3 Alpha Turbo模型。

要使用文本到视频功能,请确保选择Gen-3 Alpha模型。Turbo模型需要输入图像。

文本提示(Text Prompts)

Gen-3 Alpha可以创建具有复杂场景变化、广泛电影选择和详细艺术指导的高度详细视频。描述性但清晰的提示是生成优秀视频的关键。

添加描述性文本提示,传达摄像机角度、主体、场景、风格和运动,以生成你的视频。查看我们的Gen-3 Alpha提示指南获取更多想法和提示示例。

以下是仅文本提示示例及其相应输出:

提示(Prompt) 输出(Output)
电影反派脸部的戏剧性特写,当他扬起眉毛时,灯光变化,在他脸上投射出诡异的红光。邪恶反派巢穴,1980年代间谍电影,电影感,35毫米胶片,动态运动。

(A dramatic zoom in on the face of movie villain as he raises an eye brow and the lights shift, casting an eerie red glow across him. Evil villain lair, 1980s spy movie, cinematic, 35mm film, dynamic movement.)
villian.gif
科幻动作追逐场景,第一人称视角超速飞行穿过多个场景。穿越小行星带,穿过浓密云层,穿过复杂的荒凉景观系统。动态运动,动态模糊,延时摄影,30倍速,电影感,柔和的色彩调色板。

(A sci-fi-like action chase scene, FPV hyper-speed fly through multiple locations. Racing through asteroid fields, through a dense clouds, through a complex system of desolate landscapes. Dynamic motion, dynamic blur, timelapse, 30x speed, cinematic, muted color palette.)
Biome Switch 2.gif
动态运动,30倍速。摄像机跟随一个半透明的白色塑料购物袋,上面印有醒目的红色字母"THANK YOU",在沙漠的风中有机地飞舞。略微不透明的袋子在风中起伏,保持着醒目的红色"THANK YOU"文字印刷。

(Dynamic motion, 30x speed. Camera follows a translucent white plastic grocery bag with bold red letters printed on it that read "THANK YOU" as it flies organically in the wind of a desert. the slightly opaque bag undulates in the wind, maintaining the bold red "THANK YOU" text printed on it.)
plasticbag.gif

图像和文本提示(Image and Text Prompts)

输入图像在Gen-3 Alpha中是可选的,但在Gen-3 Alpha Turbo中是必需的。输入图像默认将作为视频的第一帧。

如果你的输入图像不是支持的分辨率,系统会提示你进行裁剪。

包含简单的文本提示来引导视频的输出。不要描述图像中的内容,而是重点描述你想要在输出中看到的摄像机、角色和场景的运动

描述输入图像的完整内容可能会导致意外结果。

以下是输入图像、专注于运动的文本提示及其相应输出的示例:

输入图像(Input image) 提示(Prompt) 输出(Output)
bubblegumstretchface.png 戴手套的手拉伸由泡泡糖材质制成的脸

(the gloved hands pull to stretch the face made of a bubblegum material)
Gen-3 Alpha 970068599
seaanenomes.png 海葵在水中自然摇摆和流动。摄像机保持静止。

(the sea anemones sway and flow naturally in the water. the camera remains still.)
Gen-3 Alpha 1081709814
knightincathedral.png 主体僵硬地行走,他的动作被沉重的盔甲所阻碍。动态运动。摄像机缩小以保持构图,同时他走近。

(subject stiffly walks, his movement hindered by the heavy armor. dynamic motion. camera zooms out to retain framing as he moves closer.)
Gen-3 Alpha Turbo 2300194801

步骤2 - 配置设置

Gen-3 Alpha有一些额外的设置,你应该在开始生成之前查看这些设置。

关键帧(Keyframes)

在Gen-3 Alpha中,你可以选择让输入图像作为第一帧最后一帧,而在Turbo上,你可以同时配置第一帧、中间帧最后一帧。请参阅使用关键帧创作获取有关使用此功能的更多信息。

摄像机控制(Camera Control)

使用摄像机控制来选择场景穿越的方向和强度,为每个镜头增加更多意图。请参阅使用摄像机控制创作获取有关使用这些设置的更多信息。

你可以通过点击左下角的设置图标Settings.png配置以下内容:

固定种子(Fixed seed)

使用固定种子将允许你创建相似的生成内容。默认情况下此选项未选中,以给你提供各种各样的结果。

如果你想获得具有相似风格和运动的生成内容,可以复制并粘贴之前输出的种子。粘贴种子将自动选中该复选框。

宽高比(Aspect ratio)

在Turbo模型上,你可以在1280x768和768x1280宽高比之间选择。更改此设置可能会提示你裁剪当前选择的任何输入图像。

步骤3 - 生成视频

编写文本提示并配置设置后,你就可以开始生成视频了。

你可以通过生成按钮旁的时长下拉菜单为输出选择5秒或10秒时长。生成视频默认为10秒生成。

你可以在会话中滚动浏览继续生成的内容。你还可以在素材库(Assets)中访问已完成的视频,它们默认会保存在生成视频(Generative Video)文件夹中。

生成完成后,你会在视频右上角看到一些额外的选项。

点击箭头将允许你重用用于生成视频的设置:

Screenshot 2025-01-09 at 4.56.42 PM.png

你还会在视频下方看到一个操作(Actions)按钮:

Screenshot 2025-01-09 at 4.55.55 PM.png

点击此按钮将展开更多选项以继续处理此视频:

延长(Extend)

使用此选项通过处理另一个生成来延长视频的时长。在本文的步骤4中了解更多信息。

口型同步(Lip Sync)

使用此选项将输出用于口型同步

视频到视频(Video to Video)

选择此选项在视频到视频中处理生成内容。

编辑视频(Edit Video)

点击此按钮将允许你编辑生成视频的时长、速度和手持摄像机抖动效果,以及反转视频。调整设置后,点击渲染(Render)处理视频。

修剪(Trim)

要修剪视频,将生成片段下方时间轴的任一端向内拖动。拖动时你会看到片段的新时长自动更新。

重新定时(Retime)

要重新定时视频,移动播放速度(Playback speed)滑块。向左移动滑块将减慢片段速度;向右移动将加快速度。默认设置为100%,即片段的原始速度。

手持抖动(Handheld shake)

使用此选项为视频添加手持摄像机抖动效果。抖动强度(Shake strength)将决定抖动的强度,而抖动速度(Shake speed)将决定抖动的快慢。

反转(Reverse)

要反转视频,打开反转(Reverse)按钮。

扩展视频(Expand Video)

通过处理另一个生成将视频重新构图为不同的宽高比。在使用扩展视频创作中了解更多信息。

提升视频质量(Upscale Video)

选择提升至4K(Upscale to 4k)以更高分辨率重新生成片段。

请注意,一旦视频被提升至4K,重用设置Screenshot 2025-01-09 at 4.56.42 PM.png将不再可用。

下载选项(Download options)

你可以通过点击生成片段右上角的下载按钮直接从会话中下载生成内容。在这里,你可以选择将片段下载为MP4GIF格式。

步骤4 - 延长视频

完成的Gen-3 Alpha和Turbo生成内容可以延长最多三次以创建更长的视频。Gen-3 Alpha视频可以延长到最长40秒,而Turbo生成内容可以延长到最长34秒(如果原始视频为10秒)。

要延长视频,在会话中的输出下方点击使用(Use)按钮并选择延长(Extend)。或者,你也可以通过素材库(Assets)打开现有生成内容并点击延长视频(Extend video)来延长现有生成内容。

你要延长的视频的最后一帧将自动填充为输入。

添加新的文本提示来指示延长部分应该发生什么。延长类似于图像到视频生成,所以尽量让提示集中在摄像机、角色和场景运动上。

在Gen-3 Alpha中生成之前,你可以在5秒或10秒延长之间选择。Turbo模型提供8秒延长。请注意,延长成本将与用于生成原始视频的模型定价相同。延长之前无法更改模型。

点击延长(Extend)开始延长。如果你对延长的输出满意,你可以最多再重复这些步骤两次以创建长视频。

Gen-3 Alpha常见问题

Gen-3 Alpha与Gen-2文本/图像到视频有什么不同?(How is Gen-3 Alpha different from Gen-2 Text/Image to Video?)

与Gen-2相比,Gen-3 Alpha在保真度(fidelity)、一致性(consistency)、运动性(motion)和速度(speed)方面都有所提升。它在提示理解(prompt understanding)方面有显著改进,能够在超真实(hyper-real)输出中实现更直观和有效的生成。

查看我们的官方博客公告了解更多关于Gen-3 Alpha的详细信息。

在哪里可以学习如何使用Gen-3 Alpha?(Where can I learn how to use Gen-3 Alpha?)

对于文本学习材料,请查看我们的Gen-3 Alpha帮助中心内容

对于视频学习材料,请查看Runway学院的Gen-3 Alpha内容:

要进一步学习,可以考虑加入我们的Runway Discord社区

使用Gen-3 Alpha和Gen-3 Alpha Turbo生成内容需要多少成本?(How much does it cost to generate in Gen-3 Alpha and Gen-3 Alpha Turbo?)

使用Gen-3 Alpha生成内容的成本为每秒10积分(10 credits per second)。目前可以导出5秒和10秒时长的视频,成本如下:

  • 5秒:50积分
  • 10秒:100积分

使用Gen-3 Alpha Turbo生成内容的成本为每秒5积分(5 credits per second):

  • 5秒:25积分
  • 10秒:50积分

此外,无限计划(Unlimited Plans)用户可以在探索模式(Explore Mode)中使用这两个模型进行无限生成。阅读更多关于我们的无限计划详情

要了解每个工具的积分成本详情,请查看积分如何工作?

什么时候应该使用Gen-3 Alpha而不是Gen-3 Alpha Turbo?(When should I use Gen-3 Alpha over Gen-3 Alpha Turbo?)

两个模型都能提供出色的结果和保真度(fidelity),因此在两者之间的选择将是你需要做出的创意决定。

Gen-3 Alpha Turbo非常适合快速迭代以探索可能性。因此,我们推荐的工作流程是在Gen-3 Alpha Turbo中完成大多数项目。只有在使用Turbo无法获得理想结果时,你才可能需要使用Gen-3 Alpha。

Gen-3 Alpha生成内容的最大长度是多少?(What is the maximum length of Gen-3 Alpha generations?)

Gen-3 Alpha视频的最大长度为10秒。要获得更长的片段,可以在生成时间线中点击已完成视频下方的延长(Extend)按钮,每次可以增加5秒,总计最长可达40秒。

无限计划用户可以使用Gen-3 Alpha进行无限生成吗?(Can I make unlimited Gen-3 Alpha generations on the Unlimited Plan?)

是的!升级到无限计划后解锁的探索模式(Explore Mode)可以在使用Gen-3 Alpha时开启。这允许以放松的速率进行无限生成,而无需使用积分。

需要什么等级的计划才能尝试Gen-3 Alpha?(What plan tier do I need to try Gen-3 Alpha?)

Gen-3 Alpha仅向标准计划或更高等级(Standard Plan or higher)的用户开放,而Gen-3 Alpha Turbo向所有用户开放。

视频输入(Video Inputs)在Gen-3 Alpha和Gen-3 Alpha Turbo中都仅向付费计划用户开放。

Gen-3 Alpha是否可在移动设备上使用?(Is Gen-3 Alpha available on mobile devices?)

是的,你可以通过iOS应用或移动网页浏览器使用Gen-3 Alpha进行生成。

Gen-3 Alpha是否提供API?(Is there an API available for Gen-3 Alpha?)

是的,请访问https://www.runwayml.com/api获取相关信息。

我可以提升Gen-3 Alpha生成内容的质量吗?(Can I Upscale Gen-3 Alpha generations?)

在初始生成完成后,可以在生成会话(Generative Session)中点击生成内容下方的操作(Actions)按钮,然后选择提升至4K(Upscale to 4k)来提升质量。