牛津大学博士后开源 violin，一个新的端到端视频翻译+视频问答Skill！

传统的视频翻译工具，往往只是把字幕从一种语言换成另一种语言，最多再加个机械的语音合成。

但这样的翻译，往往只是"直译"，失去了原有的语气、情感，更不用说针对不同受众调整表达风格了。

今天要给大家介绍的这个开源项目，就是来解决这些问题的。它叫 violin，一个端到端的视频翻译+视频问答Skill。

它的核心理念不是简单的直译，而是内容再创作。

什么是violin？

violin 是一个刚刚开源的视频翻译工具，它把ASR（语音识别）、LLM翻译和TTS（语音合成）整合成了一条无缝的管道。

你只需要输入一个视频，它就能自动完成语音识别、翻译、语音合成，最后输出一个带有翻译后配音的视频，整个过程完全自动化，不需要你手动干预任何一个环节。

项目还提供了三种使用方式：Web应用、CLI命令行工具，以及Claude Code Agent Skill，满足不同用户的需求。

核心亮点

violin 最大的亮点，就是它不满足于简单的直译，而是提出了内容再创作的理念。

1、无缝的端到端管道

violin的工作流程非常顺畅：

• • 提取音频：用ffmpeg从视频中提取16kHz的WAV音频
• • 语音识别：用Whisper Large v3进行语音识别，得到精确到词级别的时间戳
• • 翻译：用LLM（默认是DeepSeek V4 Pro）翻译每个片段，同时考虑风格要求
• • 语音合成：用TTS（默认是Cartesia Sonic 3）为每个片段合成配音
• • 合成视频：用ffmpeg把视频和配音对齐，处理时间调整，最后输出MP4视频和可选的SRT字幕

整个过程自动化完成，你只需要输入视频，就能得到最终的翻译视频。

2、33种目标语言

violin 支持 33 种目标语言，其中 16 种语言还有精心挑选的母语者语音。

包括中文、英文、西班牙语、法语、德语、日语、韩语等等，覆盖了世界上大多数主要语言。

3、6种风格配置（实验性功能）

violin内置了6种风格配置，可以根据不同的需求选择：

• • standard：忠实翻译，自然语音
• • kids：为7岁孩子改写，用简单易懂的语言
• • academic：正式语气，保留专业术语和敬语
• • casual：口语化，用缩写和友好的表达
• • storyteller：生动、戏剧化的叙述
• • news：简洁、陈述性的广播风格

你还可以通过编辑prompts/styles.yaml来添加自己的风格配置。

4、视频问答功能

除了翻译，violin还支持针对视频内容的问答。

你可以问AI关于视频任何时刻的问题，AI会基于附近的字幕和采样的视频帧来回答。

这就相当于给视频配了一个知识助手，你可以随时向它提问，加深对视频内容的理解。

5、自然语言选音

你可以用自然语言描述你想要的声音，比如"一个友好的中国女性声音"，AI会从声音目录中帮你挑选最合适的。

6、可插拔的技术栈

violin的每个环节都支持更换服务提供商：

• • 语音识别：Together（Whisper Large v3）或OpenAI（whisper-1）
• • 翻译：Together（DeepSeek V4 Pro）或OpenAI（GPT-5.5）
• • TTS：Together（Cartesia Sonic 3）、ElevenLabs（eleven_v3）或OpenAI（tts-1-hd）

你可以通过一个YAML配置文件来切换，非常灵活。

快速上手

推荐使用uv安装，更快更隔离：

# 安装uv（如果还没有）
curl -LsSf https://astral.sh/uv/install.sh | sh

# 安装violin
uv tool install violin

# 或者用pip安装
pip install violin

然后需要配置API Key，推荐使用Together AI的API Key（可以覆盖所有环节）：

export TOGETHER_API_KEY=你的API_KEY
# 把这个加到~/.zshrc或~/.bashrc中持久保存

你可以在 https://api.together.ai 获取API Key。

violin提供了三种使用方式：

1、CLI命令行工具

翻译一个视频文件：

violin lecture.mp4 lecture_zh.mp4 --language Chinese

选择风格：

violin talk.mp4 talk_zh.mp4 --language Chinese --style kids

选择特定声音：

violin lecture.mp4 lecture_fr.mp4 --language French --voice "french narrator man"

跳过字幕生成：

violin lecture.mp4 lecture_ja.mp4 --language Japanese --no-subtitles

完全替换原音（不在配音下面保留原音）：

violin lecture.mp4 lecture_ko.mp4 --language Korean --no-voiceover

使用自定义配置：

violin lecture.mp4 lecture_it.mp4 --language Italian --config config/other_api.yaml

查看所有可用风格：

violin --style list

2、Web应用

启动Web应用：

violin-api

然后访问：

• • 浏览器UI：http://127.0.0.1:8000
• • 交互式API文档：http://127.0.0.1:8000/docs

API的核心流程：

1. 1. POST /jobs 提交任务
2. 2. GET /jobs/{id} 轮询状态
3. 3. GET /jobs/{id}/video 下载视频
4. 4. GET /jobs/{id}/srt 下载字幕
5. 5. POST /jobs/{id}/chat 视频问答

使用curl的示例：

# 提交任务
JOB=$(curl -s -X POST http://localhost:8000/jobs \
  -F "file=@lecture.mp4" \
  -F "language=Spanish" \
  -F "style=academic" | jq -r .id)

# 轮询状态
curl -s http://localhost:8000/jobs/$JOB | jq '{status, progress}'

# 下载
curl -OJ http://localhost:8000/jobs/$JOB/video
curl -OJ http://localhost:8000/jobs/$JOB/srt

3、Claude Code Skill

在任何Claude Code会话中使用：

# 一次性安装：把skill复制到~/.claude/skills/
violin --install-skill

# 启动claude
claude

# 在claude中使用
> please use the violin skill to translate path/to/video.mp4 into Chinese

写在最后

violin 是一个非常有创意的开源项目，它把视频翻译从简单的直译提升到了内容再创作的层次。

它的无缝端到端管道、多种风格配置、视频问答功能，以及灵活的技术栈，都让它成为一个非常实用的工具。

如果你对视频翻译、内容本地化感兴趣，或者你是做教育内容的，不妨试试violin。

你可以直接访问官方演示网站 https://www.violin-ai.com 体验，或者去GitHub查看源码，自己动手部署一个。

GitHub地址：https://github.com/shang-zhu/violin

如果本文对您有帮助，也请帮忙点个 赞👍 + 在看 哈！❤️

在看你就赞赞我！