日本超级计算机 Fugaku 已投入消化日语文本，以开发日语版的 ChatGPT

日本正在打造自己版本的 ChatGPT，这款由美国公司 OpenAI 制造的人工智能（AI）聊天机器人，在推出不到一年时间，轰动全球。

日本政府和 NEC、富士通、软银等大型科技公司正在投入数亿美元，创建基于相同底层技术（即大型语言模型（LLM））的人工智能系统，但使用的是日语，而不是英语版本的翻译。

"日本东北大学专门从事自然语言处理研究的研究员坂口圭介（Keisuke Sakaguchi）说："目前的公共 LLM（如 GPT）在英语方面表现出色，但由于字母系统的差异、有限的数据和其他因素，在日语方面往往不尽如人意。

英语偏见

LLM 通常使用来自公开来源的大量数据来学习自然语音和散文的模式。经过训练，它们可以根据一段文本中的前一个单词预测下一个单词。ChatGPT 先前的模型 GPT-3 所训练的绝大多数文本都是英语。

ChatGPT 能像人类一样进行对话，这种令人毛骨悚然的能力让研究人员既欣喜又担忧。一些人认为它是一种潜在的省力工具；另一些人则担心它可能被用来伪造科学论文或数据。

在日本，人们担心用其他语言的数据集训练出来的人工智能系统无法掌握错综复杂的日本语言和文化。日语的句子结构与英语完全不同。因此，ChatGPT 必须将日语查询翻译成英语，找到答案后再将回复翻译回日语。

英语只有 26 个字母，而日语由两组 48 个基本字符和 2,136 个常用汉字（或称汉字）组成。大多数汉字都有两种或两种以上的发音，另外还有 50,000 个左右很少使用的汉字。鉴于这种复杂性，ChatGPT 在使用语言时出现问题也就不足为奇了。

在日语中，ChatGPT "有时会生成大多数人从未见过的极其罕见的字符，从而产生奇怪的未知单词"，Sakaguchi 说。

文化规范

LLM 要想有用，甚至在商业上可行，就必须准确反映文化习俗和语言。例如，如果提示 ChatGPT 用日语撰写求职电子邮件，那么它可能会省略标准的礼貌表达，看起来就像是从英语翻译过来的。

为了衡量LLM对日本文化的敏感程度，一群研究人员推出了 Rakuda，对LLM回答有关日语话题的开放式问题的能力进行排名。Rakuda 的联合创始人山姆-帕萨利亚（Sam Passaglia）和他的同事们要求 ChatGPT 比较标准提示答案的流畅性和文化适宜性。他们使用该工具对结果进行排名的依据是 6 月份发表的一份预印本，其中显示 GPT-4 在 87% 的情况下与人类审稿人的意见一致。最好的开源日本LLM在 Rakuda 上排名第四，而排名第一的是 GPT-4，这也许并不令人意外，因为它也是比赛的评委。

"研究日语语言模型的东京大学物理学家帕萨利亚说："虽然，日语 LLM 已经变得更好了，但它们远远落后于 GPT-4。但他说，原则上没有理由说日本的 LLM 未来不能与 GPT-4 相提并论或超越 GPT-4。"这在技术上并非不可逾越，只是资源问题"。

为创建日语 LLM 所做的一项大型努力是利用日本超级计算机 Fugaku（世界上速度最快的计算机之一），主要通过日语输入对其进行训练。在东京工业大学、东北大学、富士通公司和政府资助的理化学研究所集团研究中心的支持下，最终的 LLM 预计将于明年发布。与 GPT-4 和其他专有模型不同，它将与其他开源 LLM 一起向所有用户提供代码。据参与该项目的坂口（Sakaguchi）称，团队希望至少能提供 300 亿个参数，这些参数值会影响其输出结果，并可作为衡量其规模的标准。

不过，"Fugaku LLM "可能会被更大的 "Fugaku LLM "所取代。日本文部科学省正在资助创建一个符合科学需求的日本人工智能程序，该程序将通过学习已发表的研究成果来生成科学假设，从而加快确定研究目标的速度。该模型一开始只有1000亿个参数，仅为GPT-3的一半多，并将随着时间的推移不断扩大。

"理化学研究所生物系统动力学研究中心副主任 Makoto Taiji 谈到这个项目时说："我们希望能大大加快科研周期，扩大搜索空间。LLM的开发成本至少为300亿日元（2.04亿美元），预计将于2031年公开发布。

拓展能力

其他日本公司已经或计划将自己的 LLM 技术商业化。超级计算机制造商 NEC 于 5 月开始使用其基于日语的生成式人工智能，并声称该技术可将创建内部报告所需的时间减少 50%，将创建内部软件源代码所需的时间减少 80%。7 月，该公司开始向客户提供可定制的生成式人工智能服务。

NEC 数据科学实验室高级首席研究员 Masafumi Oyamada 说，它可以 "广泛应用于各行各业，如金融、运输和物流、配送和制造"。他补充说，研究人员可以用它来编写代码、帮助撰写和编辑论文、调查现有发表的论文等。

与此同时，日本电信公司软银（SoftBank）正在投资约 200 亿日元，用于对日语文本进行生成式人工智能训练，并计划明年推出自己的 LLM。软银拥有4000万客户，并与OpenAI投资方微软建立了合作伙伴关系，它表示，软银的目标是帮助企业实现业务数字化并提高生产力。软银预计，大学、研究机构和其他组织将使用其 LLM。

与此同时，日本研究人员希望，一个精确、有效、日本制造的人工智能聊天机器人可以帮助加速科学发展，缩小日本与世界其他国家之间的差距。

"东京庆应义塾大学医学院医疗技术研究员木下正太郎（Shotaro Kinoshita）说："如果日语版的 ChatGPT 能够做到准确无误，有望为想要学习日语或对日本进行研究的人带来更好的结果。"因此，这可能会对国际联合研究产生积极影响"。

文章转载自nature