1. AI生成3D播客对谈视频制作流程与可行性分析 [0]

thumbnail

1.1. 制作流程概述与工具介绍 [0]

  1. 整体流程：使用NotebookLM生成播客音频。
    1. NotebookLM负责将文案转为播客音频（男女对话）。
    2. 可灵（Kling）负责生成视频部分。
  2. 本期内容将演示制作过程和可行性看法。
  3. 演示将分为两部分：制作过程细节和可行性分析。
  4. 首先演示音频部分，这是播客最关键的核心。
  5. 关键在于NotebookLM最近上线了文本转播客功能。
  6. 访问NotebookLM网站进行操作。
  7. NotebookLM更新后，生成质量非常高。
    1. 对提交文案的理解和转述准确恰当。
    2. 语音质量不错，普通话有奇怪口音但达七八十分水平。
  8. 点击“新建”创建新任务。
  9. 可上传PDF、TXT、MP3、谷歌云盘文档、网站链接或YouTube链接。
  10. 以一个关于“AI反强奸游戏”的视频文案为例进行演示。
  11. 上传完成后，文档会显示在最左侧区域。

1.2. NotebookLM音频生成与文档处理 [12]

  1. 可以点击“添加”按钮继续添加其他素材。
  2. 中间区域会给出文档的总结，总结非常到位。
  3. 可通过该区域与AI互动提问，深入探讨文档内容。
  4. 演示主要关注最右侧的音频概览区域。
  5. 点击生成按钮可生成两位主持人的互动播客。
  6. 左侧有自定义选项可以添加提示词。
    1. 可指定主持人专注话题或定义受众。
    2. 此设置可简单控制播客内容走向。
  7. 暂时留空自定义选项，点击“生成”开始运行。
  8. 在生成时，NotebookLM的生成思维导图功能很实用。
  9. 点击思维导图功能进行演示。
  10. 导图生成详细，资料越有条理，导图越清晰。
  11. 思维导图功能对梳理资料非常有用。
  12. 大约不到10分钟，播客音频生成完毕。
  13. 播放一小段音频进行试听。
  14. 可调整播放倍速，此处使用1.5倍速播放。
  15. 提高播放速度能减少奇怪口音的出现。
  16. 试听效果感觉“还可以”。
  17. 音频部分到此完成，接下来看视频制作。

1.3. GPT-4o 3D卡通视频素材准备 [22]

  1. 制作视频首先需要图片，此处仍使用GPT-4o出图。
  2. 作者表示自从4o上线后，已很久没用ComfyUI或MJ。
  3. 4o的图像生成质量远超以往工具。
  4. 实际需要三张图片用于生成视频。
    1. 一张两个主持人的全景图，交代环境。
    2. 两个主持人单独的镜头特写（半身图）。
  5. 先用4o画全景图，提示词需简单描述场景。
  6. 作者偏爱3D风格，但2D或写实风格也可选。
  7. 需要求图片比例为16:9以生成宽屏。
    1. 即使要求16:9，最终比例可能不严谨。
    2. 不写比例可能生成正方形图片。
  8. 得到全景图后，截取左、右人物各出一张半身图。
  9. 使用4o是因为其一致性保持效果非常好。
  10. 第一次尝试只要求半身像特写并保持细节。
  11. 图片画出后，作者忘记要求尺寸，后修改为16:9效果更好。
  12. 照此方法生成男主持人的横版半身图。
  13. 最终得到三张图片，一致性细节保持得非常好。

1.4. 可灵/DomoAI 视频生成与口型同步测试 [36]

  1. 接下来进入剪辑工具，大致排列图片和音频素材。
  2. 此处仅做开头几秒演示，加鼓掌音效。
  3. 目标是将图片动起来，最好能口型匹配。
  4. 图片动起来使用可灵的图生视频功能。
    1. 工具不重要，以最终效果为准。
  5. 第一个镜头提示词：镜头逐渐拉远，两人向观众招手。
  6. 使用可灵1.6模型生成，选择拉远效果。
    1. 推进效果容易聚焦到某一个人身上。
    2. 可做拉远效果后在剪辑软件中倒放。
  7. 倒放加配音后，得到第一个镜头的效果。
  8. 接着是两个单独主持人说话的效果（1.6模型）。
  9. 替换到素材中，可以看到效果。
  10. 效果：口型未完全对上，部分帧有AI抖动，总体尚可。
  11. 随后对每段视频做了口型对齐（可灵自带功能）。
  12. 对口型后，口型虽然对上了，但面部崩坏概率增大。
  13. 也尝试了DomoAI的对口型功能进行对比。
  14. DomoAI可直接上传图片和音频生成，无需先生成视频。
  15. DomoAI对口型放大后可能不清晰，使用其高清化功能提升至2K。
  16. 结论：可灵和DomoAI的对口型效果都不能100%完美。
    1. 卡通风格可能加剧了面部崩坏。
  17. DomoAI主打视频转绘功能，也可用于此场景。
  18. 对比：未对口型的左边崩坏少但细节差。
  19. 对口型的右边口型对上但崩坏更严重。
  20. 作者倾向于选择左边未对口型的效果。
  21. 使用更强的可灵2.0生成视频效果好很多。
    1. 2.0价格较高，10秒视频约20元人民币。
  22. 最终使用2.0生成的效果替换，未完全要求对口型。

1.5. AI播客制作可行性分析与成本控制 [53]

  1. 接下来分析制作AI播客的可行性，从两方面阐述。
  2. 音频生成方面（NotebookLM）的不足：
    1. 不能指定音色，中文语音带有一定口音。
    2. 对细节要求高的创作者可能难以接受。
  3. 两个主持人分工不够明确，角色转换可能产生违和感。
    1. 可通过提示词设置明确角色分工来改善。
  4. 总体来说，NotebookLM生成音频质量很高。
    1. 对材料内容的把控非常精准。
    2. 生成成本很低，生成7分钟播客约10分钟内完成。
    3. 费用目前如果是高频率生成，暂时免费。
  5. 视频方面分析：
    1. 相对好的不抖动效果，可灵2.0大师版是当下最佳选择。
    2. 也可尝试Google Veo 2或Runway，但成本较高。
  6. 可以通过素材复用来节约成本。
    1. 7分钟播客，10秒女主持视频约花费20元人民币。
    2. 可只生成5段视频，在后续内容中不断复用片段。
    3. 因对话多为男女主正反打，重复率看起来不高。
  7. 生成的视频越多，重复感越少，成本也越高。
    1. 需要根据实际情况平衡成本与重复感。
  8. 关于对口型：作者认为没有那么重要，大概对上即可。
  9. 目前对口型效果最好的产品是Runway的Act-One，成本较高。
  10. 开源项目如Live Portrait效果不如商业项目。
  11. 总结：不考虑对口型，当前技术可达到80%左右的效果。
  12. 如果播客内容足够硬核，用户会忽略形式瑕疵。
  13. 真正应考虑的是内容变现问题。
  14. 纠结成本（20元或200元）不如关注内容变现更重要。
  15. 本期内容结束，希望对大家有所启发。