Transformers 4.37 中文文档（四十五）

ApacheCN_飞龙

发布于 2024-06-26 16:26:07

6220

文章被收录于专栏：信数据得永生信数据得永生

原文：huggingface.co/docs/transformers

MegatronGPT2

原文链接：huggingface.co/docs/transformers/v4.37.2/en/model_doc/megatron_gpt2

概述

MegatronGPT2 模型是由 Mohammad Shoeybi、Mostofa Patwary、Raul Puri、Patrick LeGresley、Jared Casper 和 Bryan Catanzaro 在使用模型并行训练多十亿参数语言模型的 Megatron-LM中提出的。

论文摘要如下：

最近在语言建模方面的工作表明，训练大型 Transformer 模型可以推动自然语言处理应用的最新技术。然而，非常大的模型可能由于内存限制而难以训练。在这项工作中，我们提出了训练非常大的 Transformer 模型的技术，并实现了一种简单高效的层内模型并行方法，使得可以训练具有数十亿参数的 Transformer 模型。我们的方法不需要新的编译器或库更改，与管道模型并行性正交且互补，并且可以通过在原生 PyTorch 中插入几个通信操作来完全实现。我们通过使用 512 个 GPU 收敛基于 Transformer 的模型，达到了 83 亿参数。与维持 39 TeraFLOPs 的强单 GPU 基线相比，我们在整个应用程序中保持了 15.1 PetaFLOPs，其扩展效率为 76%，这是峰值 FLOPs 的 30%。为了证明大型语言模型可以进一步推动最新技术（SOTA），我们训练了一个 83 亿参数的 Transformer 语言模型，类似于 GPT-2，以及一个 39 亿参数的类似 BERT 的模型。我们展示了在 BERT 类似模型中对层归一化的放置要特别注意，这对于随着模型规模增长而实现性能提升至关重要。使用 GPT-2 模型，我们在 WikiText103（10.8，与 15.8 的 SOTA 困惑度相比）和 LAMBADA（66.5%，与 63.2%的 SOTA 准确率相比）数据集上取得了 SOTA 结果。我们的 BERT 模型在 RACE 数据集上取得了 SOTA 结果（90.9%，与 89.4%的 SOTA 准确率相比）。

这个模型是由jdemouth贡献的。原始代码可以在这里找到。该存储库包含了 Megatron 语言模型的多 GPU 和多节点实现。特别是，它包含了使用“张量并行”和“管道并行”技术的混合模型并行方法。

使用提示

我们提供了预训练的GPT2-345M检查点，用于评估或微调下游任务。

要访问这些检查点，首先注册并设置 NVIDIA GPU 云（NGC）注册表 CLI。有关下载模型的更多文档，请参阅NGC 文档。

或者，您可以直接下载检查点：

wget --content-disposition https://api.ngc.nvidia.com/v2/models/nvidia/megatron_lm_345m/versions/v0.0/zip -O
megatron_gpt2_345m_v0_0.zip

一旦您从 NVIDIA GPU 云（NGC）获得了检查点，您需要将其转换为 Hugging Face Transformers GPT2 实现可以轻松加载的格式。

以下命令允许您进行转换。我们假设文件夹models/megatron_gpt2包含megatron_gpt2_345m_v0_0.zip，并且该命令是从该文件夹运行的：

python3 $PATH_TO_TRANSFORMERS/models/megatron_gpt2/convert_megatron_gpt2_checkpoint.py megatron_gpt2_345m_v0_0.zip

MegatronGPT2 架构与 OpenAI GPT-2 相同。有关配置类和其参数的信息，请参考 GPT-2 文档。

Mistral

原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/mistral

概述

Mistral-7B-v0.1 是 Mistral AI 的第一个大型语言模型（LLM）。

模型详情

Mistral-7B-v0.1 是基于解码器的 LM，具有以下架构选择：

滑动窗口注意力- 训练时使用 8k 上下文长度和固定缓存大小，理论上的注意力跨度为 128K 个标记
GQA（Grouped Query Attention）- 允许更快的推理和更小的缓存大小。
字节回退 BPE 分词器- 确保字符永远不会映射到词汇表之外的标记。

我们还提供了一个经过指导微调的模型：Mistral-7B-Instruct-v0.1，可用于基于聊天的推理。

有关更多详细信息，请阅读我们的发布博客文章

许可证

Mistral-7B-v0.1和Mistral-7B-Instruct-v0.1均采用 Apache 2.0 许可证。

使用提示

Mistral-7B-v0.1和Mistral-7B-Instruct-v0.1可以在Huggingface Hub上找到

这些准备好使用的检查点可以通过 HuggingFace Hub 下载并使用：

>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> device = "cuda" # the device to load the model onto

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")

>>> prompt = "My favourite condiment is"

>>> model_inputs = tokenizer([prompt], return_tensors="pt").to(device)
>>> model.to(device)

>>> generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"The expected output"

Mistral-7B-v0.1和Mistral-7B-Instruct-v0.1的原始权重可以从以下网址下载：

模型名称	检查点
Mistral-7B-v0.1	原始检查点
Mistral-7B-Instruct-v0.1	原始检查点

要在 HuggingFace 中使用这些原始检查点，您可以使用convert_mistral_weights_to_hf.py脚本将它们转换为 HuggingFace 格式：

python src/transformers/models/mistral/convert_mistral_weights_to_hf.py \
    --input_dir /path/to/downloaded/mistral/weights --model_size 7B --output_dir /output/path

然后，您可以从output/path加载转换后的模型：

from transformers import MistralForCausalLM, LlamaTokenizer

tokenizer = LlamaTokenizer.from_pretrained("/output/path")
model = MistralForCausalLM.from_pretrained("/output/path")

结合 Mistral 和 Flash Attention 2

首先，请确保安装最新版本的 Flash Attention 2 以包含滑动窗口注意力功能。

pip install -U flash-attn --no-build-isolation

还要确保您拥有与 Flash-Attention 2 兼容的硬件。在flash-attn存储库的官方文档中了解更多信息。还要确保以半精度（例如torch.float16）加载您的模型。

要加载和运行使用 Flash Attention 2 的模型，请参考下面的代码片段：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> device = "cuda" # the device to load the model onto

>>> model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", torch_dtype=torch.float16, attn_implementation="flash_attention_2")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")

>>> prompt = "My favourite condiment is"

>>> model_inputs = tokenizer([prompt], return_tensors="pt").to(device)
>>> model.to(device)

>>> generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
>>> tokenizer.batch_decode(generated_ids)[0]
"The expected output"

预期的加速

下面是一个预期的加速图，比较了在 transformers 中使用mistralai/Mistral-7B-v0.1检查点和模型的 Flash Attention 2 版本之间的纯推理时间。

滑动窗口注意力

当前实现支持滑动窗口注意力机制和内存高效的缓存管理。要启用滑动窗口注意力，请确保具有与滑动窗口注意力兼容的flash-attn版本（>=2.3.0）。

Flash Attention-2 模型还使用了更高效的内存缓存切片机制-根据 Mistral 模型的官方实现建议，使用滚动缓存机制，我们保持缓存大小固定（self.config.sliding_window），仅支持padding_side="left"的批量生成，并使用当前标记的绝对位置来计算位置嵌入。

Mistral 团队

Albert Jiang，Alexandre Sablayrolles，Arthur Mensch，Chris Bamford，Devendra Singh Chaplot，Diego de las Casas，Florian Bressand，Gianna Lengyel，Guillaume Lample，Lélio Renard Lavaud，Lucile Saulnier，Marie-Anne Lachaux，Pierre Stock，Teven Le Scao，Thibaut Lavril，Thomas Wang，Timothée Lacroix，William El Sayed。