现在很多深度学习项目,开源是开源了,名义上每个人都可以训练,实则就好比在说,每个普通人都可以几年内奋斗成百万千万富翁。理论上人家这么说没啥可指摘的,开源出来的深度学习项目本来每个人都可以拿来训练的,而实际上则是,拿来训练的前提是有GPU,也就是需要有钱。
在大模型领域,没有最大,只有更大。现如今,十亿参数百亿参数都不值得让我们惊讶了,所以NLP领域再次向更高处冲锋。这次,机智客看相关资讯,是来自快手和苏黎世联邦理工学院研究人员的巨大成果。他们提出这么一个最新的也是最大的推荐系统Persia,据称最高可支持100万亿级参数的模型训练,这货比目前最大的FB-ZionEX推荐系统还高出一个数量级。
也正因为没有最大只有更大,为了能支持如此大的规模同时又保证效率和精度,此次研究成果提出了一种全新的混合训练算法:通过混合异步、同步机制对embedding层和dense层进行分别训练。正因为有如此算法,研究人员才表示,使用这套机制,任何人都可以很容易训练一个百万亿级参数量的模型。
目前这个有论文,在代码托管平台也新建了项目。不得不说,现在的深度学习模型,已经渗入各个细分领域,而且在规模上,也是越来越大。推荐系统同样,也和其他大语言模型一样,类似人类万年不变的阶级思想一样,官大(参数量大)一级压死人。
现在和未来,我们人人活在大模型之下,我们的智能生活和智能推荐,都受大语言模型驱动。虽然我们普通个体受制于数据量和GPU硬件无法训练自己的模型,不过大树底下好乘凉,预训练的大模型庇护下,我们每个人都会受益,以后可能都会被大模型和AI摸准习性,从而形成自己的专属模型,和你自己一样懂你。
领取专属 10元无门槛券
私享最新 技术干货