非Transformer架构、作者【彭博】非“AI正规军”出身、核心成员仅4人,这个叫RWKV的开源模型已经被Hugging Face收录入库,也在日前公开了首篇论文。团队的目标是把RWKV建设成AI生态中的Linux。
RWKV同时兼容Transformer的attention机制和RNN的特性,它的特点是把Transformer的算法复杂度从n²降到了n。
我之所以特别推荐这个模型的原因是考虑到它免费、开源、可商用的特点,这对国内有信创需求、私有化部署的场景,是一个很不错的选择。
教程
《发布几个RWKV的Chat模型(包括英文和中文)7B/14B欢迎大家玩》
https://zhuanlan.zhihu.com/p/618011122
《ChatRWKV(有可用猫娘模型!)微调/部署/使用/训练资源合集》——PS:他是懂我的
https://zhuanlan.zhihu.com/p/616351661
LMSYS ORG测试
是一个开放的研究组织,由加州大学伯克利分校的学生和教师与加州大学圣地亚哥分校和卡内基梅隆大学合作创立。
榜单链接:https://lmsys.org/blog/2023-05-10-leaderboard/
外链资料
论文地址:
https://arxiv.org/pdf/2305.13048.pdf
7B英文:
https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B
14B英文:
https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio
中英文:
https://modelscope.cn/search?search=RWKV
Demo 地址:
https://www.codewithgpu.com/i/app/BlinkDL/ChatRWKV/RWKV-4-Raven-7B
领取专属 10元无门槛券
私享最新 技术干货