英伟达开源Nemotron-4 340B系列模型，用于训练LLM

近日，英伟达开源Nemotron-4 340B（3400亿参数）系列模型。开发人员可使用该系列模型生成合成数据，用于训练大型语言模型(LLM)，用于医疗保健、金融、制造、零售和其他行业的商业应用。Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token（文本单位）进行训练。Nemotron-4 340B-Base在常识推理任务，如ARC-c、MMLU和BBH基准测试中，可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。