MobiLlama：手机上运行的大语言模型整合包，还会骂人！

MobiLlama：手机上运行的大语言模型整合包，会骂人！

在大型语言模型（LLMs）的发展中，"越大越好"一直是主导趋势。然而，LLMs并不适合需要在设备上处理、能源高效、内存占用小和响应效率高的场景。这些要求对于隐私、安全和可持续部署至关重要。我们的主要贡献是推出了一个精确且完全透明的开源0.5亿（0.5B）参数SLM，名为MobiLlama，专门满足资源受限计算的特定需求，并强调在减少资源需求的同时提升性能。

手机运行使用如下，能读懂中文，还会骂人，别看他小，还挺凶。

在手机上运行速度也很快，基本上有7 token/s，能够实时进行交流，基准测试结果如下。

解压，最好不要有中文路径，解压后，如下图所示，apk为安装文件，gguf为模型文件

把上面两个文件导入手机后，安装apk文件成功后，界面如下

选择Model，点击Load GGUF从手机上选择上面的模型文件，加载后即可进行对话