how to use4 分钟阅读

DojoClip Story Music Video 使用教程:Director V2 完整指南

详细了解应该向 DojoClip Story Music Video 上传什么、Director V2 引导式工作流如何把歌曲变成视觉故事、 每个检查点需要审核什么、何时会消耗点数,以及任务停止后如何恢复。

Pansa Legrand

Story Music Video 可以把一首完成的歌曲变成经过导演规划、覆盖整首歌的视觉故事。它会分析歌词和音乐结构,提出多个叙事方案,建立带时间轴的分镜,生成静态画面,先测试代表性动态镜头,再补齐整首歌的完整时间线。

这是一个引导式工作流。它不会先制作一个临时的 30 秒预览,然后在后台自行完成全部工作。你需要在明确的检查点审核并批准创意决策,而且在图像或视频生成开始前会看到准确的点数报价。

从这里打开应用:DojoClip Story Music Video

当前输出说明: Director V2 目前以覆盖整首歌的动态合成为终点,你可以在浏览器中检查并批准它。现在还不能导出可下载的最终 MP4。只有在你需要的是引导式策划、画面、动态片段和浏览器内合成时,才适合开始这个项目。


开始之前:准备正确的输入内容

你需要登录一个具有付费权限的账户。启动 Director 工作流会消耗 0 个预付点数。在你审核完创意方案后,图像和动态生成会分别提供报价,点数到那时才会被请求授权。

打开应用前,请准备好以下内容:

输入内容 是否必需 当前限制 它会影响什么
歌曲 MP3、M4A 或 WAV;最大 50 MB、最长 3 分钟 歌词、时间、结构、情绪和完整视频时长
角色 A 一张人像图片 主角的视觉身份
角色 B 另一张人像图片 第二主角以及两名角色之间的关系
风格 最多 500 个字符 艺术方向、色彩、质感、灯光、镜头语言和情绪
画面比例 9:16 或 16:9 所有生成画面和动态片段使用的格式

音频文件名会成为历史记录中的任务名称。扩展名会被去掉,名称也会缩短到 20 个字符。上传前,建议把 final_mix_v7.wav 这样的文件改成容易识别的名称,例如 Midnight Train.wav

选择 Director 能够理解的歌曲

请使用你真正希望放在最终时间线上的完成版混音。清晰的人声、可辨认的歌词和稳定的母带,可以为转录和故事规划提供更可靠的依据。避免使用语音备忘录、包含长时间静音的未完成 Demo,或严重削波失真的文件。

你可以上传纯音乐或无人声曲目,但 Director 能用来构建叙事的依据会更少。这种情况下,请在“风格”字段中更具体地说明你想要的故事、场景和情绪变化。

只上传你拥有版权或已获得使用许可的音频。人像图片以及图片中可识别的人物也应遵循同样的原则。

决定是否上传角色人像

应用有三种使用方式:

人像数量 结果
不上传 Director 会创作由环境、物体或抽象画面推动且没有重复人物的故事
一张 上传的人物会成为主要角色
两张 两个人都会成为主要角色,并且可以在 Cast 检查点设置关系方向

每个上传的人物都会被当作主要角色,规划目标是至少出现在一半的音乐视频时长中。不要只是为了增加一个次要路人而上传第二张人像。

若希望制作可靠的角色主导型作品,请至少上传一张质量良好的人像。只有当你希望故事由环境、物体、表演细节或抽象画面推动,并且不需要重复出现的人物时,才选择不上传人像。

为了尽量保持身份一致,请使用清晰、近期、画面中只有一个人的人像。面部光线应均匀,五官应清楚可见,也不要使用过强滤镜。避免合照、面部过小、极端侧脸、墨镜、手遮住面部或明显的运动模糊。JPEG、PNG 或 WebP 是比较稳妥的选择。

写出有效的风格说明

“风格”字段用于艺术指导,不是重复粘贴歌词的地方。请描述一个统一的视觉世界,同时给 Director 留出调度和构图的空间。

雨夜中的新黑色电影公路故事。使用真实街灯,主色为深绿色与琥珀色,
克制的手持摄影,反光车窗,写实服装,表演亲密而内敛,
最后一次副歌在充满希望的日出中结束。
避免画面文字、奇幻生物和夸张的面部表情。

一份好的风格说明通常包含:

  • 视觉媒介或写实程度
  • 地点和时间
  • 色彩与灯光
  • 镜头运动感
  • 情绪发展
  • 绝对不能出现的内容

不要堆叠彼此冲突的方向,例如“照片级写实水彩 3D 动漫纪录片”。先确定一种主要视觉语言,再加入两三个辅助细节。

你不需要分别编写图像供应商或视频供应商的提示词。Director 会根据已经批准的转录、叙事方案、分镜、角色和风格说明自动编译这些提示词。

在生成前选好画面比例

为 TikTok、Reels 和 Shorts 选择 9:16。为 YouTube、电视和横屏播放器选择 16:9

画面比例会进入每个合成和供应商请求。请把它当作整个项目层面的决定,而不是最后可以随意裁切的选项。


第 1 步:上传并启动 Director 工作流

  1. 把歌曲拖入 Audio file(音频文件),或点击上传区域选择文件。
  2. 等待歌曲显示已就绪。应用会在创建任务前检查文件类型、大小和时长。
  3. 可以选择添加角色 A 和角色 B。等待每张人像都完成上传。
  4. 输入风格说明,并选择 9:16 或 16:9。
  5. 点击 Start Director workflow(启动 Director 工作流)。

文件仍在上传时不要离开页面。新任务出现在 Your Music Video History(你的音乐视频历史)并在工作区打开后,任务状态就已经持久保存。这时你可以离开页面,之后再回来打开任务。

启动工作流后,系统会创建任务并把歌曲交给准备 Worker。最先显示的工作包括语音识别、转录准备、音频分析和角色观察。任务应该显示具体的阶段或交接状态,而不是一直停留在通用的预览加载动画上。

歌曲准备仍在并行进行时,应用可能已经显示 Cast 检查点。这是正常现象,因为人像审核和歌曲分析不一定同时完成。


了解七个检查点

工作区顶部会显示完整流程:

检查点 系统会生成什么 你需要决定什么
Cast(角色) 角色身份和观察结果 谁会出现、谁是主角,以及两名角色如何互动
Transcript(转录) 带时间的歌词行和歌曲依据 文字是否正确
Treatment(叙事方案) 多个故事概念 哪个叙事方向进入正式方案
Storyboard(分镜) 覆盖整首歌的段落和定时镜头 发生什么、何时发生,以及锁定哪些细节
Frames(画面) 生成的起始/结束画面变体和动态分镜 每个边界使用哪张静态图片
Motion(动态) 代表性片段,然后是剩余片段 动作、身份、时长和连续性是否有效
Final(最终) 覆盖整首歌的动态合成 每个时间范围使用哪个持久片段,以及是否批准合成

Processing(处理中)表示系统正在工作。Awaiting your review(等待你的审核)表示系统特意暂停,等待你操作。审核状态不是延迟,请打开任务并完成当前检查点。


第 2 步:审核 Cast 检查点

Cast 检查点用于在故事方案或图像生成依赖角色之前保护人物身份。

对于每个上传的人物,请检查人像和角色分析状态。你可以:

  • 修改显示名称
  • 描述故事角色,例如表演者、旅行者、见证者或第二主角
  • 把另一个人设为主角
  • 在保持同一个人的情况下更新照片
  • 用不同的人替换角色
  • 移除一个人或添加第二张人像
  • 在观察失败时重新进行角色分析

如果有两个人,还可以设置关系,例如伴侣、家人、朋友、对手、工作关系、陌生人或其他关系。你还可以添加指导说明、列出需要避免的情境,并决定是否允许身体接触。这些指令会应用于两名角色同时出现的镜头。

如果人物身份正确,只是参考图质量不好,请使用 Update photo(更新照片)。只有在更换角色人物本身时,才使用 Replace person(替换人物)。

确认人物、名称、角色定位和关系都正确后,再批准角色。下游内容已经生成后再改变人物身份,可能使后续产物过期并需要重新生成。


第 3 步:修正并批准 Transcript

Transcript 标签页会显示从歌曲中提取的定时歌词行。请一边听原始音频一边阅读,尤其注意:

  • 姓名、俚语和生僻词
  • 有细微差异的重复副歌
  • 被效果或和声遮住的词
  • 会改变含义的断句
  • 应该或不应该影响故事的即兴唱词

修改任何错误歌词后,点击 Save edits(保存修改)。可见的时间标记说明歌词出现的位置;当前编辑器允许修改文字,但不能手动重新调整每一行的时间。

不要因为转录“大致正确”就批准它。一个错误的名字或否定词就可能让整套叙事方案走向错误方向。确认保存后的歌词与歌曲一致后,点击 Approve transcript(批准转录)。

批准后会启动创意叙事方案阶段,不会消耗图像或视频点数。


第 4 步:选择 Treatment

Treatment 是高层级故事提案,此时视频还没有被拆分成具体镜头。Director 可以提供多个概念,其中包括一句话故事、核心手法、潜台词、结局回报、叙事模式和角色映射。

比较不同概念时,请思考:

  1. 这个想法是否符合歌曲的情绪变化,而不只是对应某一句歌词?
  2. 它能否支撑整首歌,而不是反复出现同一种画面?
  3. 最后的回报是否足够明确,让结尾显得有意图?
  4. 上传的角色是否被放在合理的位置?
  5. 这个故事能否通过画面表达,而不需要大段文字解释?

如果没有一个方案足够好,请在继续前选择 Revise set(修改方案集)。如果某个概念合适,就选中它。存在角色映射时,你可以采用屏幕显示的映射,也可以让提议的角色人格保持平行,不直接绑定。

Treatment 的生成和选择都属于策划操作,这里不会收取画面或动态生成点数。


第 5 步:检查并批准 Storyboard

Storyboard 会把选定的叙事方案变成完整的歌曲时间线。它先把作品分为多个段落,再把段落拆成定时镜头。每个镜头都包含角色、视觉事件、主要动作、镜头运动、环境运动和节奏。

请从头到尾审核时间线,重点检查:

  • 开场画面能否快速建立世界观
  • 主歌、预副歌和副歌之间是否有视觉升级
  • 镜头景别和环境是否有足够变化
  • 角色出现方式是否符合预期定位
  • 剪辑和动作是否匹配音乐能量
  • 前一个镜头的结束与下一个镜头的开始是否连续
  • 最终画面是否兑现叙事方案

你可以编辑单个镜头,也可以编辑整个段落。使用 shot(镜头)编辑来调整具体动作、镜头运动或节奏;使用 sequence(段落)编辑来调整叙事目的、进入画面、退出画面或共享的视觉规则。

当某个镜头或段落已经正确,并且你不希望之后的修改替换它时,可以将其锁定。锁定适合必须保留的时刻,但过早锁定太多内容会让其余故事更难改进。

阅读完整时间线后再批准分镜。批准后,该方案才可以获得准确的画面报价。


第 6 步:获取画面报价、生成变体并批准动态分镜

Frames 检查点是第一个付费生成阶段。

  1. 点击 Get quote(获取报价)。
  2. 检查独立画面数量、可复用数量、必须生成的数量以及授权点数总额。
  3. 如果报价在使用前过期,请刷新报价。
  4. 只有在范围和总额都可以接受时,才点击 Generate frames(生成画面)。

相邻镜头之间可能会复用同一张边界画面,因此独立画面数量不一定是镜头数的两倍。报价才是准确依据,而不是粗略的“每个镜头”估算。

单位价格可能随实时生成策略变化。你授权的是报价中显示的准确总额。

生成完成后,审核每个镜头的起始画面,以及需要时的结束画面。对于每个边界:

  • 查看完整尺寸的已选图片
  • 比较持久保存的不同变体
  • 检查 QA 状态和任何身份警告
  • 选择最强且有效的变体
  • 锁定希望保留的画面
  • 只有按钮明确显示 Retry without another charge(无需再次扣费重试)时,才使用包含在原授权中的重试

不要只把画面当作彼此独立的图片来评判。请配合原始音频播放 Full-song animatic(整首歌曲动态分镜)。相比图片网格,它能更快暴露重复、转场薄弱、节奏不佳和身份突然变化等问题。

只有在每个必需边界都有获得批准的持久变体,而且整首歌的动态分镜能够讲清预期故事时,才批准画面集。


第 7 步:先测试代表性 Motion,再生成其余片段

视频生成被有意拆分成两次付费决策。Director 会先选择一小组代表性镜头,用它们测试最困难或最有参考价值的动态效果,避免在验证前就为整条时间线全部付费。

  1. 在 Representative motion 下点击 Get quote(获取报价)。
  2. 检查所选镜头数、生成时长、点数和报价过期时间。
  3. 点击 Generate selection(生成所选片段)。
  4. 审核每个生成片段及其 QA 状态。
  5. 只有当所有代表性片段都通过时,才批准这组片段。

请信任准确报价,因为它使用当前单位价格和实际所选范围。

不要只看整体是否好看,还要检查:

  • 人物是否仍然像已批准的角色?
  • 第一帧是否自然进入动作?
  • 提供结束帧时,片段是否合理到达它?
  • 片段时长是否符合它在歌曲中的真实范围?
  • 手、脸以及角色之间的接触是否可信?
  • 镜头运动是否帮助表达,而不是与画面冲突?
  • 动态是否意外循环、冻结或跳动?

原始音频和已批准的画面动态分镜会显示在测试片段旁边。请用它们在完整语境中判断片段。

单独生成的动态片段以视觉片段形式审核,可能没有声音。完整合成会把它们放在上传的原始歌曲时间线上。Story Music Video 用于指导表演和视觉叙事,不承诺达到音素级准确的口型同步。

批准后,请请求 Remaining motion(剩余动态)报价。已经批准的代表性片段会被复用,不会再次收费。报价会显示复用镜头数、未解决镜头数、新的点数总额和 QA 进度。准备好后,使用 Generate remaining(生成剩余片段)提交报价。


第 8 步:审核覆盖整首歌的动态合成

所有剩余片段完成持久化后,任务会进入 Full preview ready(完整预览已就绪)。Final 工作区会把原始歌曲与每个精确镜头范围中的一个已选动态变体对齐。

沿完整时间线逐个检查镜头。你可以选择另一个可接受的变体、锁定当前动态,或在可用时使用已授权的重试。然后播放完整合成,并检查:

  • 从第一帧到歌曲结尾是否同步
  • 是否有缺失、冻结或重复的时间范围
  • 角色或服装是否突然改变
  • 代表性动态与剩余动态之间的转场
  • 镜头边界处的连续性
  • 结尾是否落在预期的音乐时刻

只有当每个镜头都有一个已接受的持久片段,并且完整合成连贯时,才点击 Approve full motion(批准完整动态)。

批准会记录选定的片段集和合成。目前这就是 Director V2 工作流的终点:你可以在浏览器中审核覆盖整首歌的合成,但应用还不会渲染并提供可下载的最终 MP4。


生成过程中应该做什么

任务出现在历史记录中后,在 Worker 或供应商进行生成时,你不需要一直保持浏览器打开。返回 Story Music Video 页面,在 Your Music Video History(你的音乐视频历史)中选择任务,然后点击 Open task(打开任务)即可。

等待时请遵循这些规则:

  • 离开前等待上传完成。 尚未完成上传的本地文件还不是持久任务的一部分。
  • 不要因为供应商速度慢就重复提交任务。 先刷新或重新打开现有任务。
  • 阅读阶段标签。 Speech Recognition、Audio Analysis、策划、画面生成和动态生成是不同工作,所需时间也不同。
  • 打开审核状态。 工作流不会自行跳过 Cast、Transcript、Treatment、Storyboard、Frames 或 Motion 的批准。
  • 需要时使用手动刷新按钮。 正常更新会自动轮询,但从旧标签页返回后,手动刷新会很有用。
  • 出现错误时保存任务的 Debug ID。 它可以定位准确的失败阶段,不会暴露你的媒体内容。

没有一个适用于所有项目的可靠完成时间。歌曲长度、镜头数量、供应商队列、生成边界数、动态时长、重试次数,以及你审核检查点的速度都会影响总时长。镜头很多的长歌曲会比镜头克制的短歌曲花费更多时间和点数。


点数:何时付费,以及哪些内容会被保留

启动任务、分析歌曲、审核角色、修正转录、选择叙事方案和批准分镜,都不会预先消耗生成点数。

只有在你请求并提交报价后,付费工作才会开始:

报价 授权内容 价格如何确定
Frames 新的独立起始/结束边界画面 以实时报价为准
Representative motion 一组经过选择的测试视频镜头 以实时报价为准
Remaining motion 复用已批准测试后仍未解决的视频镜头 以实时报价为准

始终以实时报价中的总额为准。复用、共享边界和实际镜头范围都会改变总额。报价会过期;刷新过期报价后,应用会在你提交前按当前范围重新计算。

如果你没有足够点数进行下一批生成,已经完成的策划检查点仍会保存。购买或补充点数后,重新打开同一个任务,刷新报价并继续。不要重新创建项目,丢掉已经审核过的工作。

一些生成项目的原始授权中包含重试。适用时,界面会显示 Retry without another charge(无需再次扣费重试)。不要假设所有重新生成都免费,请以该项目显示的操作和报价为准。


状态与恢复

状态 含义 你应该做什么
Processing(处理中) Worker、策划模型、图像供应商或视频供应商正在工作 让它继续运行或之后再回来;进行其他操作前先刷新现有任务
Awaiting your review(等待你的审核) 检查点已经准备好,并特意暂停 打开任务,审核当前标签,保存修改,准备好后批准
Action required(需要操作) 处理已安全停止,保存的工作正在等待恢复 打开红色提示,查看阶段,在提供恢复操作时使用它,并保留 Debug ID
Failed(失败) 任务或必需阶段未成功结束 阅读保存的错误,只通过任务中可用的操作进行重试
Cancelled(已取消) 任务已停止 只有当你确实想建立新项目时,才创建新任务

如果交接状态显示正在初始化、排队、发送、已接受、运行、计划重试或状态不确定,请不要马上重新提交整个音乐视频。系统会保留持久的派发记录,并核对 Worker 状态。请先刷新任务。如果它变成 Action required,请在提示提供恢复按钮时使用它。如果没有可用的恢复操作,请保存 Debug ID 并联系支持,不要反复重启项目。

某些双角色或供应商能力暂停会提供选择,例如等待、只保留角色 A 继续,或取消。决定前请阅读每个选项显示的后果;只使用一个角色继续会改变已批准的创意范围。

报告问题时,请提供:

  • 任务名称
  • 检查点或阶段标签
  • 问题出现的时间
  • 错误提示中的 Debug ID
  • 当时是否刚执行过保存、批准、报价或生成

除非支持人员明确需要,否则不要发送原始歌曲或私人人像。


常见问题排查

歌曲无法上传

确认文件是 MP3、M4A 或 WAV,不超过 50 MB,并且不长于 3 分钟。如果浏览器无法读取时长,请从音频编辑器重新导出文件,而不是只修改扩展名。

点击 Start 后没有出现任务

检查歌曲或人像是否仍显示 Uploading(正在上传)。歌曲准备好且所有人像上传完成前,按钮无法创建持久任务。如果所有上传都已就绪,请只再试一次,并阅读表单上方显示的错误。

任务看起来卡在 Cast

请打开任务。Cast 是真正的批准检查点,不只是进度标签。检查角色分析,修正名称和角色定位,保存关系方向,然后点击 Approve cast(批准角色)。歌曲分析也可能仍在运行;实时交接提示会说明当前状态。

历史记录中没有单独的 ASR 任务

语音识别是 Music Video 任务内部的准备阶段。你只需要跟踪一个 Story Music Video 任务,然后审核它的 Transcript 检查点,不需要创建或跟踪第二个 ASR 项目。

转录内容不正确

批准前修正受影响的歌词行。如果错误很多,请重新导出人声更清晰的音频并建立新项目。不要批准错误歌词,然后期待叙事方案自动忽略它们。

报价已过期

再次点击 Refresh quote(刷新报价)或 Get quote。过期报价不能提交,因为分镜、复用范围、点数余额或供应商条件可能已经改变。

生成的人脸不像参考人物

比较不同变体并阅读 QA 警告。选择更强的有效变体,或使用授权中包含的重试。如果参考图本身不明确,请在新的修订中返回 Cast 修正它,再批准昂贵的下游工作。

任务显示 Action required

已完成的检查点仍然保存。打开任务,使用错误提示中显示的恢复操作;如果重试失败,请复制 Debug ID。除非界面明确说明现有任务无法继续,否则不要创建重复任务。

无法下载最终视频

这是当前 V2 的产品边界,不是隐藏按钮。Final 检查点提供覆盖整首歌的浏览器内合成和持久保存的已批准片段。可下载的 MP4 渲染/导出尚未接通。


实用质量检查清单

每次批准前,用一组简短问题检查:

Cast: 人物是否正确?主角和关系是否合适?

Transcript: 重要的词、名字和重复副歌是否准确?

Treatment: 这个想法是否会随整首歌发展,并为结尾提供充分铺垫?

Storyboard: 每个镜头是否都提供新信息?转场在视觉上是否合理?

Frames: 身份是否稳定?所选比例下的构图是否有力?动态分镜是否跟随歌曲顺畅推进?

Representative motion: 最困难的样例片段是否保持身份、时长和画面连续性?

Final motion: 每个时间范围是否齐全?时间线是否同步?所选变体是否确实是当前最好的版本?

代价最高的错误,是批准薄弱的策划后,再试图用更多生成来修补。把注意力花在 Transcript、Treatment 和 Storyboard 上;只有这些决定足够扎实时,才投入生成点数。


简要步骤

  1. 上传最终版 MP3、M4A 或 WAV,文件小于 50 MB、时长不超过 3 分钟。
  2. 可以选择上传一张或两张清晰角色人像。
  3. 写一份聚焦的风格说明,并选择 9:16 或 16:9。
  4. 启动 Director 工作流,等待任务出现在历史记录中。
  5. 批准 Cast,修正 Transcript,选择 Treatment,并检查完整 Storyboard。
  6. 审核准确的 Frames 报价,生成变体,并批准覆盖整首歌的动态分镜。
  7. 先生成 Representative motion,批准后再为剩余片段付费。
  8. 在 Final 中审核并批准覆盖整首歌的浏览器内合成。
  9. 如果工作停止,请使用可见恢复操作和 Debug ID 恢复同一个已保存任务,不要重复提交。

在 DojoClip Story Music Video 中开始引导式音乐视频项目

相关阅读

how to use