SWivid/F5-TTS: Official code for "F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching"
AI 摘要 · Qwen 中文摘要 收录
查看原文 该页面介绍了 F5-TTS 官方代码仓库的模型特性、安装部署、推理训练、性能基准和许可信息。
项目定位
- F5-TTS 是论文《F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching》的官方代码仓库。
- 页面围绕基于 Flow Matching 的语音合成项目，提供模型、推理、训练、部署和许可说明。
模型与特性
- F5-TTS 采用 Diffusion Transformer with ConvNeXt V2，强调更快的训练和推理。
- E2 TTS 提供 Flat-UNet Transformer 结构，作为论文最接近的复现。
- Sway Sampling 是一种推理时流步采样策略，用于提升性能。
安装与部署
- 安装建议创建 Python 3.10 或更高版本环境，并安装 FFmpeg。
- 支持按 NVIDIA、AMD、Intel 或 Apple Silicon 设备安装对应 PyTorch。
- 可通过 pip install f5-tts 安装，也可克隆仓库进行可编辑安装，并提供 Docker 使用方式。
推理能力
- Gradio 应用支持基础 TTS、分块推理、多风格/多说话人生成，以及由 Qwen2.5-3B-Instruct 驱动的语音聊天。
- CLI 推理支持参考音频、参考文本、目标文本和 TOML 配置，并支持多声音示例。
训练与评估
- 训练与微调可使用 Hugging Face Accelerate，也可通过 Gradio 应用快速开始。
- 仓库提供评估模块，用于对生成语音进行评测。
性能与许可
- 提供基于 Triton 和 TensorRT-LLM 的部署方案，并在单张 L20 GPU 上给出延迟与 RTF 基准。
- 代码采用 MIT 许可证；预训练模型因使用 Emilia 数据而采用 CC-BY-NC 许可证。