肝了4天，我用ChatTTS和LLM让deeplearning.ai课程说上流畅中文

pip install git+https://github.com/2noise/ChatTTS

import ChatTTS
import torch
import torchaudio

chat = ChatTTS.Chat()
chat.load(compile=False) # Set to True for better performance
texts = ["你好，这里是公众号深入LLM Agent应用开发，感谢你的收听与关注"]
wavs = chat.infer(texts)

torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)

def numpy_array_to_mp3(numpy_array, output_file):
    # 将 numpy 数组规范化到 [-1, 1] 范围
    numpy_array = np.clip(numpy_array, -1, 1)
    numpy_array = (numpy_array * 32767).astype(np.int16)
# 将 numpy 数组转换为 int16 类型的 WAV 格式字节流
    byte_stream = numpy_array.tobytes()
# 创建一个新的 AudioSegment 对象
    audio_segment = AudioSegment(
        data=byte_stream,
        sample_width=2,
        frame_rate=24000,
        channels=1
    )
# 将 AudioSegment 对象保存为 MP3 文件
    audio_segment.export(output_file, format="mp3")

    mp3_filename = "output_audio1.mp3"
    num_array_to_mp3(wavs[0], mp3_filename)

def compress_and_encode(tensor):
    np_array = tensor.numpy().astype(np.float16)
    compressed = lzma.compress(np_array.tobytes(), format=lzma.FORMAT_RAW, filters=[{"id": lzma.FILTER_LZMA2, "preset": 9 | lzma.PRESET_EXTREME}])
    encoded = b14.encode_to_string(compressed)
    return encoded

spk = torch.load("asset/seed_1332_restored_emb.pt", map_location=torch.device('cpu')).detach()
spk_emb_str = compress_and_encode(spk)
print(spk_emb_str)  # save it for later timbre recovery

params_infer_code = ChatTTS.Chat.InferCodeParams(
    spk_emb=spk_emb_str,  # add sampled speaker
    temperature=.0003,  # using custom temperature
    top_P=0.7,  # top P decode
    top_K=20,  # top K decode
)

text = "你好，这里是公众号深入LLM Agent应用开发，感谢你的收听与关注"
wavs = chat.infer([text], use_decoder=True, params_infer_code=params_infer_code)

WEBVTT
1
00:00:02.080 --> 00:00:05.660
Retrieval Augmented Generation, or RAG, has become a key

1
00:00:02,080 --> 00:00:05,660
Retrieval Augmented Generation, or RAG, has become a key

ffmpeg -i subtitle.vtt subtitle.srt

pysrt.open(vtt_path, encoding="utf-8").save(srt_path, encoding="utf-8")

3
00:00:11,224 --> 00:00:14,627
teach this along with me. She
is a member of

content="""你是一个专业的翻译官，尤其擅长科技类中英文翻译, 必须保持原本的字幕格式，要求保持精简，不要肆意添加东西，不要漏翻。
比如：
原文：
1
00:00:03,270 --> 00:00:06,292
how to set up both a basic and advanced RAG pipeline
翻译：
1
00:00:03,270 --> 00:00:06,292
如何设置基本和高级的RAG管道
"""

1
00:00:04,760 --> 00:00:08,162
欢迎来到这门关于ChatGPT的课程
开发者Prompt Engineering。

2
00:00:08,162 --> 00:00:11,224
我很高兴与
Isa Fulford一起教学。

def translate_agent(source_text):
    translation_1 = initial_translation(
        source_text
    )

    reflection = reflect_on_translation(
        source_text, translation_1
    )
    translation_2 = improve_translation(
        source_text, translation_1, reflection
    )

    return translation_2

    system_message = f"你是一个专业的翻译官，尤其擅长科技类英文到中文翻译。"
    translation_prompt = f"""你的任务是将英文字幕翻译为中文字幕, 必须保持原本的字幕格式，要求保持精简，翻译字幕要与原文基本一致，不要肆意添加任何解释或者其他文字，不要漏翻。
字幕中一句话通常分布在几个字幕块中，翻译时候，务必整句翻译，并将其按照原格式分布在多个字幕块，保持字符数量和字幕时间段一致。
举个例子：
英文字幕：
8
00:00:25,514 --> 00:00:29,257
She's also
contributed to the OpenAI Cookbook that

9
00:00:29,257 --> 00:00:30,958
teaches people prompting.
So thrilled

10
00:00:30,958 --> 00:00:32,660
to have you with me.
中文字幕：
8
00:00:25,514 --> 00:00:29,257
她还为OpenAI Cookbook做出了贡献，

9
00:00:29,257 --> 00:00:30,958
专门教人们如何进行prompting。很高兴

10
00:00:30,958 --> 00:00:32,660
你能与我一起。

开始你的翻译：
英文字幕: {source_text}

中文字幕:"""

    system_message = f"你是一名翻译专家，专门从事从英文字幕到中文字幕的翻译工作。你将得到一段源文本及其翻译，你的任务是改进这段翻译。"

    reflection_prompt = f"""你的任务是仔细阅读从英文字幕翻译为中文字幕，然后提出建设性的批评和有帮助的建议，以改进翻译。
源文本和初始翻译如下，以XML标签<SOURCE_TEXT></SOURCE_TEXT>和分隔：

<SOURCE_TEXT>
{source_text}
</SOURCE_TEXT>

<TRANSLATION>
{translation}
</TRANSLATION>

在写建议时，请注意是否有以下改进翻译的方法：
(i) 准确性（通过纠正添加错误、误译、遗漏或未翻译的文本），
(ii) 流畅性（应用中文的语法、拼写和标点规则，确保没有不必要的重复），
(iii) 风格（确保翻译反映源文本的风格，并考虑任何文化背景），
(iv) 术语（确保术语使用一致，并反映源文本的领域；并确保仅使用等效的中文术语）。
(v) 针对字幕本身具有时效性，切勿增长单个字幕块的内容长度，保持前后字幕连贯。
写出一份具体、有帮助和建设性的建议清单，以改进翻译。
每个建议应解决翻译中的一个特定部分。
只输出建议，不要包含其他内容。
"""

    system_message = f"你是一个专业的翻译官，尤其擅长科技类英文到中文翻译。"

    prompt = f"""你的任务是仔细阅读并编辑从英文字幕到中文字幕的翻译，考虑专家的建议和建设性的批评。
针对字幕本身具有时效性，必须考虑原始英文字幕和中文字幕块的一致性，不要导致字幕本身的时效性变化，不要增加单个字幕块的内容长度，务必保持前后字幕连贯，前后字幕不要重复翻译！！！干得好，奖励5000美元。
源英文字幕、初始翻译和专家语言学家的建议如下，以XML标签<SOURCE_TEXT></SOURCE_TEXT>、和<EXPERT_SUGGESTIONS></EXPERT_SUGGESTIONS>分隔：

<SOURCE_TEXT>
{source_text}
</SOURCE_TEXT>

<TRANSLATION>
{translation}
</TRANSLATION>

<EXPERT_SUGGESTIONS>
{reflection}
</EXPERT_SUGGESTIONS>

请在编辑翻译时考虑专家的建议。编辑翻译时请确保：

(i) 准确性（通过纠正添加错误、误译、遗漏或未翻译的文本），
(ii) 流畅性（应用中文的语法、拼写和标点规则，确保没有不必要的重复），
(iii) 风格（确保翻译反映源文本的风格，并考虑任何文化背景），
(iv) 术语（确保术语使用一致，并反映源文本的领域；并确保仅使用等效的中文术语）。
(v) 针对字幕本身具有时效性，切勿增长单个字幕块的内容长度，保持前后字幕连贯。

只输出新的字幕翻译，不要包含其他内容，如果无需修改，返回原始翻译，如果移除内容，就展示为空，不要有任何提示内容。

"""

full_audio = AudioSegment.silent(duration=0)
subtitles = pysrt.open(subtitle_path, encoding="utf-8")
for i, subtitle in enumerate(subtitles):
    text = subtitle.text
    start_time = time_to_ms(subtitle.start)
    end_time = time_to_ms(subtitle.end)
    duration_ms = end_time - start_time
    
    wavs = chat.infer([text.replace('\n', ' ')], use_decoder=True, params_infer_code=params_infer_code)
    mp3_filename = f"temp_{i}.mp3"
    wav_to_mp3(mp3_filename, wavs[0])
    speech = AudioSegment.from_mp3(mp3_filename)
    full_audio += speech

def change_audio_speed(audio, speed=1.0):
    # 调整音频的帧率以改变播放速度
    audio_with_altered_frame_rate = audio._spawn(audio.raw_data, overrides={
        "frame_rate": int(audio.frame_rate * speed)
    })
    # 将帧率恢复到正常，以便播放音频
    return audio_with_altered_frame_rate.set_frame_rate(audio.frame_rate)

ffmpeg -y -i "input_video.mp4" -i "translated_audio.mp3" -vf "subtitles=subtitle.srt:force_style='PlayResX=640,PlayResY=360,MarginV=10,Alignment=2',setpts=PTS+1.0/TB" -c:v libx264 -c:a aac -strict experimental -map 0:v -map 1:a "output_video.mp4"