一个开源的小AI模型：TinyLlama（小羊驼）​！

今天介绍一个开源的小型AI模型：TinyLlama（小羊驼）！

这是一个开源的小型语言模型，它的目标是在 3 万亿个 tokens 上进行预训练，最终构建一个拥有 11 亿参数的语言模型。

TinyLlama 采用了 Llama 架构和分词器，这意味着它可以在许多基于 Llama 的开源项目中即插即用。

此外，TinyLlama 只有 11 亿的参数，体积小巧，适用于需要限制计算和内存占用的多种应用。

TinyLlama 的训练代码已经在 GitHub 上开源，提供了完整的预训练代码，用户可以根据自己的需求调整。

TinyLlama 的潜在应用场景包括：帮助对大型模型进行 speculative decoding、在边缘装置上运行、在游戏中实现实时对话生成等。

代码地址：

https://github.com/jzhang38/TinyLlama