日本理光公司在6月4日的声明中透露,他们成功地利用与日本理化学研究所共同研发的指令数据,对自家的日语大语言模型进行了训练,从而显著提升了该模型在指令遵循方面的性能。这一进步无疑标志着日本在人工智能领域的又一重大突破,特别是在自然语言处理方面取得了令人瞩目的成果。
理光公司3日发布新闻公报说,他们用10329份指令数据对公司研发的130亿参数日语大语言模型进行了指令调优。与调优前相比,大语言模型的指令遵循性能得分从1.19分大幅提高至3.02分。
指令调优是训练大语言模型的一个过程,主要为了缩小模型的下一个标记预测目标与用户期望的模型遵循人类指令的目标之间差距。
理光公司说,随着老龄化和随之而来的劳动人口减少,许多企业寄希望于利用人工智能来提高生产效率,实现高附加值的劳动方法。而要将人工智能应用于实际业务,需要让大语言模型追加学习包括企业所处行业、所经营业务、以及企业固有用语等在内的大量数据。
相比英语国家围绕大语言模型研发的竞争,日语大语言模型的研发相对滞后。这主要是因为日语的语法和表达与英语完全不同,以英语为基础的模型难以充分发挥功能,而研发适合日语的模型首先必须花时间研究日语的特征。
大语言模型的研发还需要大量数据,而日语的数据远少于英语,品质和多样性方面也存在问题,日语数据的收集和完善需要大量时间和成本。大语言模型研发还需要很高的算力,而日本超算和云等计算资源原本就不足,能运用这些计算资源的技术和人才也不足。