Huanshere/VideoLingo
AI 要約 · Qwen 要約は中国語 収録日
原文を読む VideoLingo 是一个基于 Streamlit 的 AI 视频字幕工具，可自动完成语音识别、字幕翻译、对齐、分割和可选配音。
项目定位
- VideoLingo 将语音识别、字幕翻译、分割、对齐和配音整合在 Streamlit 界面中。
- 它可生成字幕文件，并可选输出带字幕或配音的视频。
- 翻译质量取决于源音频、语言和所选模型。
核心功能
- 支持通过 yt-dlp 下载 YouTube 视频，并使用 Qwen3-ASR 与 Qwen3-ForcedAligner 进行词级识别和对齐。
- 提供 NLP/AI 字幕分割、自定义与 AI 生成术语、可选反思和自然重写的翻译流程。
- 支持 GPT-SoVITS、OpenAI、Edge TTS 等配音，并可在 Streamlit 中一键启动、暂停、恢复或停止任务。
语言与演示
- 输入语言包括英语、俄语、法语、德语、意大利语、西班牙语、日语和中文。
- 配音语言取决于所选 TTS 方法。
- 页面展示了双字幕、Cosy2 声音克隆和 GPT-SoVITS 使用用户声音的演示。
安装部署
- 支持 Windows、macOS（Apple Silicon/Intel）和 Linux。
- Windows 可通过 OneKeyStart.bat 一键安装 uv、Python 3.12、应用依赖和 FFmpeg。
- 源码安装使用 git clone 后运行 uv run start.py；Apple Silicon 使用 MLX，Intel Mac 使用 CPU 识别。
- 可选 Docker 部署面向 Linux NVIDIA 容器，默认使用 CUDA 12.8.1/cu128。
API 与提供商
- 本地 HTTP API 替代 Excel 批量模式，共享 Streamlit 流水线并一次处理一个操作。
- LLM 支持 OpenAI 兼容接口，文档推荐 OpenLux 及 GPT-6 Luna、GPT-6 Sol 或 Claude Opus 5.5。
- ASR 默认本地运行 Qwen3-ASR + ForcedAligner，也可选择 ElevenLabs 或 MAI-Transcribe-2；WhisperX 需手动安装。
- TTS 支持 OpenAI、Fish Audio、SiliconFlow Fish/CosyVoice2、GPT-SoVITS、Edge TTS、F5-TTS 和自定义适配器。
限制与许可
- 背景噪声、语言特定对齐模型和混合语言语音可能影响识别、词时间戳和翻译质量。
- LLM 输出必须满足工作流 JSON 结构，失败时可检查 output/gpt_log/error.json。
- 配音质量和同步取决于翻译、TTS 服务和语速，且不会自动为每个说话人分配不同声音。
- 项目采用 Apache 2.0 许可证。