Back to notes

SWivid/F5-TTS: Official code for "F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching"

AI summary · Qwen Summary in Chinese Indexed
Original source

该页面介绍了 F5-TTS 官方代码仓库的模型特性、安装部署、推理训练、性能基准和许可信息。

项目定位

  • F5-TTS 是论文《F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching》的官方代码仓库。
  • 页面围绕基于 Flow Matching 的语音合成项目，提供模型、推理、训练、部署和许可说明。

模型与特性

  • F5-TTS 采用 Diffusion Transformer with ConvNeXt V2，强调更快的训练和推理。
  • E2 TTS 提供 Flat-UNet Transformer 结构，作为论文最接近的复现。
  • Sway Sampling 是一种推理时流步采样策略，用于提升性能。

安装与部署

  • 安装建议创建 Python 3.10 或更高版本环境，并安装 FFmpeg。
  • 支持按 NVIDIA、AMD、Intel 或 Apple Silicon 设备安装对应 PyTorch。
  • 可通过 pip install f5-tts 安装，也可克隆仓库进行可编辑安装，并提供 Docker 使用方式。

推理能力

  • Gradio 应用支持基础 TTS、分块推理、多风格/多说话人生成，以及由 Qwen2.5-3B-Instruct 驱动的语音聊天。
  • CLI 推理支持参考音频、参考文本、目标文本和 TOML 配置，并支持多声音示例。

训练与评估

  • 训练与微调可使用 Hugging Face Accelerate，也可通过 Gradio 应用快速开始。
  • 仓库提供评估模块，用于对生成语音进行评测。

性能与许可

  • 提供基于 Triton 和 TensorRT-LLM 的部署方案，并在单张 L20 GPU 上给出延迟与 RTF 基准。
  • 代码采用 MIT 许可证；预训练模型因使用 Emilia 数据而采用 CC-BY-NC 许可证。