5月最后一周,开源大模型又添卷王!在英文开源大模型方面,自从META开源以来一直占据主流位置的LLAMA体系竟然被挑战成功!而且挑战者还是来自非欧美国家!
惊不惊喜?意不意外?!
这款名为“Falcon ”的开源人工智能模型由阿布扎比酋长国的研究中心技术创新研究所(TII)开发,具有400亿个参数和1万亿个令牌的训练数据。
Falcon系列目前发布了40B,7B,1B三种规格。其中7B可以跑在消费级显卡上,而1B的模型大小不到3G,有望在移动设备比如智能手机和智能手表上部署应用。
令人刮目相看的是,目前,在HUGGINGFACE的开源模型排行榜Open LLM Leaderboard上,这个模型已经战胜了源自META的一系列羊驼家族模型,目前排名第一,这充分展示了它的超强实力和潜力。从细分项看,几乎每一项都能吊打LLAMA体系里面的最强选手LLAMA65B。
可以讲,这是中美之外首个冒出来的”能打“的大模型,而且还是开源的,可商用的。
当然,这种成绩少不了的是真金白银的投入。TII研究所背靠石油大户阿联酋,这个位于中东地区的国家,近年来在科技领域可谓是崭露头角。阿布扎比政府近年来快速发展其科技产业,包括成立了 G42 人工智能和云计算公司以及 EDGE 国防科技集团。
目前,人工智能竞争格局主要是中美两国双雄争霸,但是其他国家也在积极发展自己的人工智能技术和应用,这也是一个全球性的趋势。
不过,很遗憾的是,Falcon目前并不支持中文;但只要底子好,又能商用,相信不久就会出现中文微调的版本。
同时,中文开源世界的竞争也没闲着,我们最近看到了清华系不同支脉纷纷拿出成果。
其中OPENBMB拿出了CPM-BEE模型,这个模型的训练过程是完全公开的,已经训练了接近640B的tokens, 具有10B\5B\2B等不同级别的参数,总花费140万元人民币。最重要的是,它也是支持商用的。
领取专属 10元无门槛券
私享最新 技术干货