近期,网易有道在翻译技术领域取得了重大突破,成功研发出一款基于自研“有道翻译大模型2.0”的140亿参数专业领域小模型,这一消息由AsianFin获悉。
这款新型翻译模型在保持卓越翻译性能的同时,显著降低了计算资源消耗和部署成本,使其更容易融入现有的系统和设备中,进一步拓宽了技术的应用范围。
网易有道已将这一大型模型技术应用于有道词典、有道翻译和有道翻译官等产品中。用户现在可以在标准模型和高级模型之间进行无缝切换,享受更加灵活多样的翻译服务。
网易有道还将这款大型模型融入其智能硬件产品中。其中,有道词典笔X7系列已经率先升级至最新版本,其他设备也将陆续跟进。
值得注意的是,大型语言模型的性能并不仅仅取决于参数数量,还受到数据质量、领域适应性和算法优化等多重因素的影响。网易有道的140亿参数专业领域小模型在数据处理方面取得了显著进展,采用了经过专业英语教师和翻译人员精心标注的高质量翻译语料库,这一庞大的数据资源有效提升了模型在多种翻译场景下的处理能力。
在算法层面,有道在“有道翻译大模型2.0”的基础上进行了二次预训练,打造出了一款兼顾专业准确性和领域特异性的翻译基础模型。通过大型模型蒸馏、模型融合和在线直接偏好优化(DPO)等技术手段,有效避免了灾难性遗忘问题,并在运算效率、准确性和流畅性方面显著提升了翻译性能。
为了评估模型的性能,有道开发了一款名为“奖励模型”的翻译评估工具,该工具利用累积的翻译数据为评估提供了可靠的量化基础。同时,结合全面的手动评估框架,实现了对模型翻译结果的多维度分析。
据悉,“有道翻译大模型2.0”在中文到英文的翻译方面,特别是在垂直领域场景下,取得了显著改进。有道内部评估显示,新模型在人文、商务、生活服务、医疗和科学等19个垂直领域表现出更高的准确性和流畅性。在专业性、准确性、语言规范和风格方面均优于前代版本。
网易有道相关负责人强调了垂直模型的重要性:“通用大型模型在参数和计算能力上展开竞争,但翻译不能仅凭参数堆叠来实现专业性。在通用大型模型竞相扩大规模的同时,我们坚信垂直模型的未来价值。我们致力于通过专业应用解决专业场景中的痛点。”
在大模型技术兴起之前,有道的翻译解决方案主要基于统计机器翻译和神经机器翻译(NMT)。如今,有道的翻译产品已拥有超过10亿用户。据Quest Mobile数据显示,网易有道词典月活跃用户已超过1亿,并自2019年以来连续六年稳居教育工具类应用榜首。
领取专属 10元无门槛券
私享最新 技术干货