首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【热点】关注RWKV大模型,国产、开源、可商用

非Transformer架构、作者【彭博】非“AI正规军”出身、核心成员仅4人,这个叫RWKV的开源模型已经被Hugging Face收录入库,也在日前公开了首篇论文。团队的目标是把RWKV建设成AI生态中的Linux。

RWKV同时兼容Transformer的attention机制和RNN的特性,它的特点是把Transformer的算法复杂度从n²降到了n。

我之所以特别推荐这个模型的原因是考虑到它免费、开源、可商用的特点,这对国内有信创需求、私有化部署的场景,是一个很不错的选择。

教程

《发布几个RWKV的Chat模型(包括英文和中文)7B/14B欢迎大家玩》

https://zhuanlan.zhihu.com/p/618011122

《ChatRWKV(有可用猫娘模型!)微调/部署/使用/训练资源合集》——PS:他是懂我的

https://zhuanlan.zhihu.com/p/616351661

LMSYS ORG测试

是一个开放的研究组织,由加州大学伯克利分校的学生和教师与加州大学圣地亚哥分校和卡内基梅隆大学合作创立。

榜单链接:https://lmsys.org/blog/2023-05-10-leaderboard/

外链资料

论文地址:

https://arxiv.org/pdf/2305.13048.pdf

7B英文:

https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B

14B英文:

https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio

中英文:

https://modelscope.cn/search?search=RWKV

Demo 地址:

https://www.codewithgpu.com/i/app/BlinkDL/ChatRWKV/RWKV-4-Raven-7B

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230618A02X2A00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券