AI最先落地的场景一定是它！全开源项目搭建AI视频创作工作流，都24年啦，AI视频创作还停留在文生图？AI全栈开发项目分享

标题: AI最先落地的场景一定是它！全开源项目搭建AI视频创作工作流，都24年啦，AI视频创作还停留在文生图？AI全栈开发项目分享

作者: ComfyUI商业落地

描述: AI全栈技术开发-AI视频工作流项目，使用全开源项目搭建： 技术栈：Nuxt3(Vue3),Node,Python,TS 开源项目： 声音合成：GPT VITS 绘画和视频：ComfyUI（SD文生图和文生视频，后续还会持续接入其他效果更好的图像和视频模型） 后台服务器：ComfyUI-server（我们自己的开源项目，将comfyUI的工作流快速封装为API，方便前端调用和后台管理功能） 大语言模型：目前国内主流大语言模型均接入 我们是用到开源项目分别有大语言模型，用来做文案和分镜的编写，场景的构建和提示词优化。文生图和图生视频使用ComfyUI，后端服务器使用到我们自己开源的ComfyUI server这个项目，将我们这个项目需要用到文生图，图生图，图生视频，换脸，风格迁移等工作流封装成了API，前端只需要简单的调用就可以了。声音合成使用GPT VITS，这个项目目前有非常多的声音模型可以选择，而且只需要1分钟的音频，就可以完美复刻声音。声音还原度和情感丰富程度远超之前公认最强的微软TTS。项目从分镜到生成视频中的每个环节你都可以选择一键自动完成，也可以人为去干预每个镜头，每个特效、每个转场，每段配音…… 项目创新性方面，我们借鉴真实的电影制作流程，引入角色管理和场景管理，本质上其实就是我们拍电影的流程中的选角和布景，这些前置工作可以保证视频内容的保证一致性，这也是AI视频真正进入生成环节非常重要的因素。每一个角色和场景的预设都通过GPT转换为生成图片的提示词，或者通过背景替换、换脸和风格迁移等多种常见的comfyUI工作流，来作用于最后生成的图片和视频。加入多语言角色，所以以后你可以做出这样带有剧情和对话的视频，而不是一个只有旁白的枯燥解说。这也是AI视频创作与AI推文非常重要的区别

UP主签名: AI全栈开发，专注AIGC应用落地，分享AI商业落地项目和方向