机器翻译IIMachineTranslationII.ppt

《机器翻译IIMachineTranslationII.ppt》由会员分享，可在线阅读，更多相关《机器翻译IIMachineTranslationII.ppt（64页珍藏版）》请在优知文库上搜索。

1、大纲基于翻译记忆的机器翻译方法基于模板（模式）的机器翻译方法双语语料库对齐技术 句子对齐 词语对齐机器翻译的评价翻译记忆方法1翻译记忆方法（Translation Memory）是基于实例方法的特例；也可以把基于实例的方法理解为广义的翻译记忆方法；翻译记忆的基本思想： 把已经翻译过的句子保存起来 翻译新句子时，直接到语料库中去查找如果发现相同的句子，直接输出译文否则交给人去翻译，但可以提供相似的句子的参考译文翻译记忆方法2翻译记忆方法主要被应用于计算机辅助翻译（CAT）软件中翻译记忆方法的优缺点 翻译质量有保证 随着使用时间匹配成功率逐步提高 特别适用于重复率高的文本翻译，例如公司的产品说明书

2、的新版本翻译 与语言无关，适用于各种语言对 缺点是匹配成功率不高，特别是刚开始使用时翻译记忆方法3计算机辅助翻译（CAT）软件已经形成了比较成熟的产业 TRADOS号称占有国际CAT市场的70%Microsoft、Siemens、SAP等国际大公司和一些著名的国际组织都是其用户 雅信CAT适合中国人的习惯产品已比较成熟 国际组织： LISA（Localisation Industry Standards Association）面向用户：专业翻译人员数据交换：LISA制定了TMX（Translation Memory eXchange）标准。翻译记忆方法4完整的计算机辅助翻译软件除了包括翻译记

3、忆功能以外，还应该包括以下功能 多种文件格式的分解与合成 术语库管理功能 语料库的句子对齐（历史资料的重复利用） 项目管理：翻译任务的分解与合并翻译工作量的估计 数据共享和数据交换翻译记忆方法5基于模板(模式)的机器翻译方法1基于模板（Template）或者模式（Pattern）的机器翻译方法通常也被看做基于实例的机器翻译方法的一种延伸所谓“翻译模板”或者“翻译模式”可以认为是一种颗粒度介于“翻译规则”和“翻译实例”之间的翻译知识表示形式 翻译规则：颗粒度大，匹配可能性大，但过于抽象，容易出错 翻译实例：颗粒度小，不易出错，但过于具体，匹配可能性小 翻译模板（模式）：介于二者之间，是一种比较合

4、适的知识表示形式一般而言，单语模板（或模式）是一个常量和变量组成的字符串，翻译模板（或模式）是两个对应的单语模板（或模式），两个模板之间的变量存在意义对应关系基于模板(模式)的机器翻译方法2模板举例： 这个X 比Y 更Z。 The X is more Z than Y.模板方法的主要问题 对模板中变量的约束 模板抽取 模板的冲突消解Pattern-Based CFG for MT 1Koichi Takeda, Pattern-Based Context-Free Grammars for Machine Translation, Proc. of 34th ACL, pp. 144- 151

5、, June 1996给出了翻译模式的一种形式化定义，并给出了相应的翻译算法以及算法复杂性的理论证明Pattern-Based CFG for MT 2每个翻译模板由一个源语言上下文无关规则和一个目标语言上下文无关规则（这两个规则称为翻译模板的骨架），以及对这两个规则的中心词约束和链接约束构成；中心词约束：对于上下文无关语法规则中右部（子结点）的每个非终结符，可以指定其中心词；对于规则左部（父结点）的非终结符，可以直接指定其中心词，也可以通过使用相同的序号规定其中心词等于其右部的某个非终结符的中心词；链接约束：源语言骨架和目标语言骨架的非终结符子结点通过使用相同的序号建立对应关系，具有对应关系

6、的非终结符互为翻译。Pattern-Based CFG for MT 3Pattern-Based CFG for MT 3翻译的过程分为三步： 使用源语言CFG骨架分析输入句子s 应用源语言到目标语言的CFG骨架的链接约束，生成一个译文CFG推导序列 根据译文CFG推导序列产生译文模板排序的启发式原则： 对于源文CFG骨架相同的模板，有中心词约束的模板优先于没有中心词约束的模板； 对于同一跨度上的两个结点，比较其对应的模板的源文CFG骨架，非终结符少的模板优先于非终结符多的模板； 中心词约束被满足的结点优先于中心词约束不被满足的结点； 对于一个输入串而言，分析步骤越短（推导序列越短）越优先。

7、Pattern-Based CFG for MT 4模板库的获取：假设T是一组翻译模板，B是双语语料库，是一对互为翻译的句子 如果T能够翻译句子s为t，那么do nothing； 如果T将s译为t（不等于t），那么：如果T中存在的推导Q，但这个推导不是最优解，那么给Q中的模板进行实例化；如果不存在这种推导，那么加入适当的模板，使得推导成立； 如果根本无法翻译s（分析失败），那么将直接加入到模板库中。模板的自动提取利用一对实例进行泛化 Jaime G. Carbonell, Ralf D. Brown, Generalized Example-Based Machine Translation

8、http:/www.lti.cs.cmu.edu/Research/GEBMT/利用两对实例进行比较 H. Altay Guvenir, Ilyas Cicekli, Learning Translation Templates from Examples Information Systems, 1998 张健，基于实例的机器翻译的泛化方法研究，中科院计算所硕士论文，2001通过泛化实例得到翻译模板已有实例： Karl Marx was born in Trier, Germany in May 5, 1818. 卡尔马克思于1818年5月5日出生在德国特里尔城。泛化： was born i

9、n in 于出生在对齐 通过比较实例得到翻译模板已有两对翻译实例： 我给玛丽一支笔 I gave Mary a pen. 我给汤姆一本书 I gave Tom a book.双侧单语句子分别比较，得到： 我给#X 一#Y #Z I give #W a #U.查找变量的对应关系： #X #W #Y #Z #U实例库的匹配1实例匹配的目的是将输入句子分解成语料库中实例片断的组合，这是基于实例的机器翻译的关键问题之一，实例匹配的各种方法有很大的差异，还没有那种做法显示出明显的优势；实例库匹配的效率问题：由于实例库规模较大，通常需要建立倒排索引；实例库匹配的其他问题： 实例片断的分解： 实例片断的组合

10、：实例库的匹配2实例片断的分解 实例库中的句子往往太长，直接匹配成功率太低，为了提高实例的重用性，需要将实例库中的句子分解为片断 几种通常的做法：按标点符号分解任意分解通过组块分析进行分解实例库的匹配3实例片断的组合 一个被翻译的句子，往往可以通过各种不同的实例片断进行组合，如何选择一个最好的组合？ 简单的做法：最大匹配最大概率法：选择概率乘积最大的片断组合 有点像汉语词语切分问题片断译文的选择由于语料库中一个片断可能有多种翻译方法，因此存在片断译文的选择问题；常用的方法： 根据片断上下文进行排歧； 根据译文的语言模型选择概率最大的译文片断组合实例库的对齐实例库又称双语语料库（Bilingua

11、l Corpus）或平行语料库（Parallel Corpus）双语语料库对齐的级别 篇章对齐 段落对齐 句子对齐 词语对齐 短语块对齐 句法结构对齐基于实例的机器翻译中实例库必须至少做到句子级别的对齐不同对齐级别的差异段落对齐和句子对齐 要求保持顺序（允许局部顺序的调整） 只有一个层次词语对齐和短语块对齐 不要求保持顺序 只有一个层次句法结构对齐 不要求保持顺序 多层次对齐句子对齐1汉语汉语1995年初我来成都的那天，没想到会是在一个冬季的漆黑的日子。little thought when I arrived inChengdu in the dark, dark days ofwinter

12、, early in 1995, that I would still be here more than five years later.那时我也根本没有想到会在这儿呆上五年，也不知道我会遇到一位成都的女儿，并且后来还娶她为妻。一个完全陌生的家庭接纳了我，我也因此成为成都的一部分。little knew that I would meet one ofChengdus daughters, and later marryher, thus acquiring a whole newfamily who embraced me as one ofthem, and thus I became

13、 part of thisplace.句子对齐2基于长度的句子对齐1基本思想：源语言和目标语言的句子长度存在一定的比例关系用两个因素来估计一个句珠的概率 源语言和目标语言中句子的长度 源语言和目标语言中的句子数（对齐模式）基于长度的句子对齐2根据统计，随机变量X=lTi/lSi服从正态分布基于长度的句子对齐3设通过语料库统计得到X的期望为c，方差为v2，那么随机变量将服从0,1正态分布：根据正态分布公式可以计算出(直接查表)：基于长度的句子对齐4对齐模式的概率P(mS,mT)可以通过对语料库的统计得到。下面是Gale & Church根据UBS语料库的统计结果：基于长度的句子对齐5最优路径的搜

14、索：采用动态规划算法定义P(i,j)=P(s1si,t1tj) 最优对齐为P(m,n)所对应的路径).,.(),(max),(11,ttssjyjixiyxScoreyjxipjip基于长度的句子对齐6优点 不依赖于具体的语言； 速度快； 效果好缺点 由于没有考虑词语信息，有时会产生一些明显的错误讨论 长度计算可以采用词数或者字节数，没有明显的优劣之分基于词的句子对齐1基本思想：互为翻译的句子对中，含有互为翻译的词语对的概率，大大高于随机的句子对用两个因素来估计一个句珠的概率 源语言和目标语言中互译词语的个数 源语言和目标语言中的句子数（对齐模式）基于词的句子对齐2优点 可以充分利用词语互译信

15、息，提高正确率缺点 单独使用时，正确率有时低于基于长度的方法（取决于词典的规模质量等） 时空开销大讨论 对于同源的语言（英语和法语，汉语和日语）可以利用词语同源信息而不使用词典句子对齐小结句子对齐的语料库是基于语料库的机器翻译的基础；综合采用基于长度的方法和基于词汇的方法可以取得较好的效果；句子对齐可以取得很高的正确率，已经达到实用水平。词语对齐1特点： 保序性不再满足 对齐模式复杂：一对多、多对一、多对多都非常普遍词语对齐2困难： 翻译歧义：一个词出现两个以上的译词 双语词典覆盖率有限：非常普遍的现象 位置歧义：出现两个以上相同的词 汉语词语切分问题 虚词问题：虚词的翻译非常灵活，或没有对译

16、词 意译问题：根本找不到对译的词词语对齐3一般而言，一个单词对齐的模型可以表述为两个模型的乘积： 词语相似度模型(word similarity model) 位置扭曲模型(word distortion model) 用公式表示如下：词语相似度模型1翻译概率：IBM Model 1T-Score： Nc：语料库中单词c出现的词数 Ne：语料库中单词e出现的词数 Nec：语料库中单词e和单词c互译的词数词语相似度模型2戴斯系数（dice coefficient） 设S1和S2分别是两个集合，则这两个集合的戴斯系数可以通过如下公式计算把汉语词理解为汉字的集合，戴斯系数就是两个词中相同的汉字占两个词汉字总数的比例。考虑到汉字表意性，这种方法在计算汉语词相似度时有较好的效果计算汉语词c和英语词e的相似度： 先用英语词e查英汉词典，得到所有的汉语对译词； 计算所有对译词和c的戴斯系数，取其中的最大值。词语相似度模型3互信息（mutual information） 通过两个事件X和Y各自出现的概率为p(X)和p(Y)，他们联合出现的概率为p(X,Y），这两个事件之间共同的互信息量定义为：当两个事