华为计划通过更好地利用大型语言模型(LLMs),来提升其文档级人工智能翻译能力。该公司研究人员近期申请了一种使文档人工智能翻译更轻松便捷的方法。
这并非华为首次利用大型语言模型来改进文档级人工智能翻译。此前,大型语言模型通常会将文档分割成段落,然后逐一翻译。在这种方法中,需要向语言模型提供文档摘要以及一些特定的翻译词汇(如人名、地名和事件等)作为提示。
但此次,华为正在采用一种新的方法来微调大型语言模型以用于人工智能翻译。公司计划提供同一篇文档翻译的两个不同版本:逐句翻译(Sent2Sent)和全文翻译(Doc2Doc)。
逐句翻译在句子层面会更加流畅和准确,但在整篇文档的一致性上有所欠缺。而全文翻译则更加连贯且能更好地响应上下文,但可能会遗漏某些细节,甚至整句话都可能被排除。
不过,这里有一个解决方案。研究人员可能会将这两种输出结果结合起来,并要求大型语言模型将它们精炼成一个改进后的单一翻译版本。研究人员表示:“我们建议使用两种中间翻译对大型语言模型进行微调,以用于翻译优化,结合逐句翻译和全文翻译的优势。”
华为可利用大型语言模型革新文档级人工智能翻译 图片来源:华为
华为研究人员进一步优化了两个开源模型——LLaMA-3-8B Instruct 和 Mistral-Nemo-Instruct。
这些模型使用源文档、两种中间翻译以及人工参考翻译的数据集。它们接受有针对性的质量感知训练,使其能够专注于处理困难或易出错的片段,然后将输入内容进行对比以得出更佳的结果。
研究人员补充道:“基于这两种中间翻译的优化方法……显著提升了所有语言对(如英语、德语、法语、中文和俄语等)的翻译性能。”
喜欢点赞收藏!欢迎关注SevenTech!