Google 翻訳 + ポストエディットを見抜けるか

「レビュー案件が Google 翻訳だった」の続き。

「Google 翻訳 + ポストエディット」を客観的 (機械的) に見抜けるかどうか、検討しました。

※「Google 翻訳 + ポストエディット」が必ずしも悪であるとは思いません。しかし、人間による高品質の翻訳が求められる作業の納品物として、質の悪い「Google 翻訳 + ポストエディット」がなんの断りもなく提出されることを問題に感じています。

疑問: 原文が同じなら誰が訳しても似たような文になるんじゃないの?

原文が同じなら、誰が訳しても、訳文の論理や単語が似通ってしまうのは当然のように思えます。Google 翻訳だ、と指摘しても、偶然似た翻訳になってしまっただけと反論されるかもしれません。

実際のところ、どれくらい似てしまうものなのでしょうか? 

文章の類似度の観点から、「Google 翻訳 + ポストエディット」を見抜けないかどうか、考察していきます。

文章類似度調査

訳文の準備

1 つの原文に対し、複数の訳文を用意します。

今回は、「JAT 第 15 回新人翻訳者コンテスト 受賞者とファイナリストの訳文」※から、受賞者の皆さんの訳文を利用させていただきます。

原文は、Public Roads - The Dream of an Automated Highway です。

※このコンテストは、日本翻訳者協会 (JAT) が開催している、信頼のおけるコンテストです。実務経験が少ない翻訳者が対象ですが、受賞者は実力者ぞろいです。

比較ツール

類似度の比較には、文章類似度算出（速攻ハック版）というツールを利用させていただきます。

ツールの説明によれば、「文章Aと文章B、2つの文章の類似度（パクリっぷり）を、大まかに見積もれます。コピペの改竄程度の場合は、70%を超える数字が出ると思われます」とのこと。

オリジナルの文とそれに編集を加えた文を比較すれば 70% 以上の類似度になる、というのは概ね妥当なように思えます。CAT ツールを使う案件では、これは過去の原文を基に少し変更を加えただけ、これは同じ単語/表現が複数含まれているけれど新規の文、と区別するうえで、マッチ率 75% が基準とされることが多いので。

Google 翻訳と人間の翻訳の類似度

早速、Google 翻訳と人間の翻訳の類似度をチェックしてみましょう。

Google 翻訳と廣瀬麻微さんの訳を先述の文章類似度算出ツールで比較した結果を以下に示します (原文 # は便宜的に設定しました。類似度は、見やすさのために小数点以下切り捨てにしています)。

原文#	原文	Google 翻訳	廣瀬麻微さん	類似度
1	The Dream of an Automated Highway	自動化された高速道路の夢	自動運転道路を夢見て	62%
2	The General Motors Futurama exhibit at the 1939 World's Fair in New York featured avision of technologically advanced superhighways where cars would navigate curves at speeds up to 80 kilometers (50 miles) per hour using "automatic radio control" to maintain safe distances.	ニューヨークの1939年の万国博覧会でのゼネラルモーターズフューチュラマの展示では、安全な距離を維持するために「自動無線制御」を使用して1時間あたり最大80キロメートル（50マイル）の速度でカーブをナビゲートする、技術的に進歩したスーパーハイウェイが見られました。	1939年のニューヨーク万国博覧会でゼネラルモーターズ社が展示したフューチュラマは、先進的な技術を取り入れた高速道路の構想を取り上げたものだった。それによると、自動車は「自動無線操縦」を利用して安全な車間距離を保つことで、時速80キロメートル（50マイル）でカーブを曲がるという。	62%
3	Cities would have elevated walkways where pedestrians could travel safely without being endangered by the vehicle traffic beneath them.	都市は、歩行者がその下の車両の交通に危険にさらされることなく安全に移動できる高架通路を備えていました。	都市部では歩道を空中に設け、歩行者はその下を往来する自動車の危険にさらされることなく、安全に移動することができる。	63%
4	Hundreds of thousands of visitors were mesmerized by this dream of new cities with gleaming skyscrapers, spectacular highways, and the promise of greater mobility.	数十万人の訪問者が、キラキラと輝く高層ビル、壮大な高速道路、機動性の向上という新しい都市の夢に魅了されました。	光り輝く超高層ビル群や壮大な高速道路を備え、交通の利便性が高まるのではないかという期待感を抱かせる新しい都市の未来像に、数多くの来場者が心を奪われた。	58%
5	Sound unbelievable?	信じられないほど聞こえますか？	そんなことは不可能だと思われるだろうか。	53%
6	This vision in the late 1930s pictured the transportation system as it would be in 1960, only 21 years into the future!	1930年代後半のこのビジョンは、わずか21年先の1960年の輸送システムを描いたものです。	1930年代後半に練られたこの構想は、1960年、万博からたった21年後の未来の交通システムを念頭に置いていたのである。	55%

さらに、 他の受賞者、ファイナリストの方の訳と Google 翻訳を比較して、類似率を見てみました。 

原文#	福田秀樹さん	中桐裕佳さん	Mariko Green さん	Kobayashi Hiroko さん
1	64%	73%	64%	80%
2	54%	61%	70%	59%
3	75%	53%	50%	56%
4	72%	59%	41%	60%
5	51%	37%	61%	44%
6	67%	66%	58%	63%

ところどころ、パクリを疑う基準である 70% を超える箇所が見られます。ここでは、冒頭の 1 段落分のみ比較しましたが、さらに比較していくと、1 割～3 割前後の文で、どの翻訳者でも Google 翻訳との類似度が 70% を超えることがあるとわかりました。

しかし、そのような箇所は Google 翻訳を基に訳したのではなく、「たまたま」Google 翻訳に似てしまっただけのようです。

表現を工夫した訳文は類似度が低くなる傾向が強いですが、原文に固有名詞が多く含まれているなどの理由で表現を工夫できる余地が少ないと、類似度が高くなります。

例えば、以下が好例でしょう。

原文#	原文	Google 翻訳	廣瀬麻微さん	類似度
7	The Futurama exhibit was such a huge hit that General Motors hosted Futurama II at the next New York World's Fair in 1964.	フューチュラマの展示は大ヒットで、ゼネラルモーターズは1964年の次のニューヨーク万国博覧会でフューチュラマIIを開催しました。	フューチュラマの展示が爆発的な人気を集めたため、続いて1964年に開催されたニューヨーク万国博覧会に、ゼネラルモーターズ社はフューチュラマⅡを出展した。	77.52%

他の方の類似度は以下のとおりで、類似度が高くなりやすい原文だったとわかります。

原文#	福田秀樹さん	中桐裕佳さん	Mariko Green さん	Kobayashi Hiroko さん
7	69%	81%	57%	71%

 人間の翻訳同士の類似度

さらに、人間の翻訳同士を比較すると、類似度がどうなるかを見ておきましょう。

以下は、廣瀬麻微さんの訳を他の方の訳と比較したときの類似度です。

原文#	福田秀樹さん	中桐裕佳さん	Mariko Green さん	Kobayashi Hiroko さん
1	95%	69%	95%	81%
2	71%	73%	70%	59%
3	68%	65%	60%	53%
4	46%	59%	44%	54%
5	67%	36%	43%	25%
6	69%	68%	72%	69%

ところどころ 70% 以上の数値が出ていますが、Google 翻訳と人間の翻訳を比較したときも、同じくらいの割合で 70% 以上の類似度が出ていました。※原文# 1 は、そもそも原文が短く、表現の工夫の余地がなかったのが原因で異常な高類似度になってしまっているので例外と考えた方がよいです。

原文が同じだと、ある程度の割合で似たような訳になってしまうことがわかりました。

上の結果を見た感じでは、1 割～2 割くらいでしょうか。

「Google 翻訳」と「Google 翻訳 + ポストエディット」の類似度

次に、機械翻訳と MTPE 文の類似度がどうなるかを調査していきます。

MTPE は、基本的に、元の原文を生かす形で編集を加えていくので、類似度が高くなると想定されます。

(Google 翻訳ではない) 機械翻訳と MTPE 文の比較

まず、私が仕事で遭遇した例をそのまま示すのは差しさわりがあるので、「【ノウハウ】ポストエディットでの修正観点は？ | 機械翻訳サービス」で紹介されている「機械翻訳 + ポストエディット (MTPE) 文」の例をお借りして、類似度がどうなるかを見てみます。

＜原文＞

When removing the cover, in order to maintain cleanliness and prevent the build up of dust,be sure to remove and clean the filter panel first.

＜訳文＞

【機械翻訳】
清潔を維持し、かつほこりを上へ構造を防ぐためには、カバーを削除する場合、必ずフィルタパネルはじめにを削除し清潔にします。

この機械翻訳を

①原文の意味が正確に伝わるか

②原文の意味が正確に伝わるか、読みやすい表現になっているか、文法が正確か

③用字用語・スタイルの統一が図られているか

の観点からチェック、修正すると以下のようになります。フルエディットまで行くと、人間がゼロから翻訳した場合と比較して 70～100% くらいの負荷になるそうです。

【ラピッドエディット: ①】
清潔を維持し、かつほこりがたまるのを防ぐためには、カバーを取り外す場合、必ずフィルタパネルをはじめに取り外し、清潔にします。

【ミニマムエディット: ①+②】
清潔に保ち、ほこりがたまるのを防ぐためには、カバーを取り外す際、必ずフィルタパネルをはじめに取り外し、掃除します。

【フルエディット: ①+②+③】
清潔に保ち、ほこりがたまるのを防ぐためには、カバーを取外す際、必ずフィルター・パネルをはじめに取外し、掃除してください。

機械翻訳と各エディットの類似度は以下のとおりです。

ラピッド	ミニマム	フル
84%	65%	63%

最低限の編集しか加えていないラピッドエディットは、前のセクションで取り上げた人間がゼロから作った訳文では見られなかったほど類似度が高くなっています。

機械翻訳の出力を生かす形でラピッドエディット (=善し悪しはさておき、加える変更がコピペ改竄程度) をするなら、類似度をチェックすれば見抜くことができそうです。 

「通訳・翻訳ジャーナル 2018年冬号 」でポストエディットの特集が組まれており、機械翻訳文と MTPE 文がいくつか掲載されていました。掲載の文を比較すると、やはり、類似度が高く出ました。

「Google 翻訳」と「Google 翻訳 + ポストエディット」の比較

次に、「レビュー案件が Google 翻訳だった」でレビューした文章から、連続する 10 文を抜き出して、Google 翻訳との類似度を確認しました。

「Google 翻訳と人間の翻訳の類似度」と比べ、Google 翻訳との類似度が高い文の割合が異常に多いことがわかります (Google 翻訳を編集しただけなので当然ですが)。

#	類似度
1	81%
2	85%
3	91%
4	76%
5	86%
6	82%
7	54%
8	98%
9	55%
10	66%

7、9、10 文目の類似度が低く出ていますが、その理由は、これらの文に含まれる複数の専門用語の訳が Google 翻訳とクライアント用語集で異なっていたからです。クライアント用語集に合わせるために Google 翻訳に加える編集量が多かったのですね。専門用語を無視すると、他の文と同様に高い類似度を示しました。

結論: Google 翻訳 + ポストエディットは見抜ける

最初に、同じ原文を複数の翻訳者 (と Google 翻訳) が訳した場合、似たような訳文になる割合はどの程度かを調べました。その結果、原文が同じならば似た (類似度が高い) 訳文になることもあるが、7 ～ 9 割の訳文は異なる (類似度が低い) ことがわかりました。

次に、機械翻訳文と MTPE 文の類似度を調べたところ、MTPE 文は最小限の編集しか加えられないため、元の文との類似度が非常に高くなるということがわかりました。

このことから、Google 翻訳と訳文を比較して、高類似度が出る割合を調べれば、その文章全体が Google 翻訳 + ポストエディットかどうかを判断可能と結論できます。

類似度チェックの自動化

ここまでは手作業で類似度をチェックしてきましたが、そのチェックを自動化したいと思います。

個人で類似度チェックをする分には、Excel の VBA で、「原文を Google 翻訳にかける」処理と「Google 翻訳文とポストエディット文の類似度チェックをする」処理が自動的に行えればよいでしょう。

とはいえ、私に自動化コードを自作できるスキルはないので、インターネット上で公開されている情報を利用させていただきます。

原文を Google 翻訳にかける

「ExcelでGoogle Translateを呼び出すマクロ - Qiita」が大変参考になりました。

紹介されているコードは実行時にいくつかエラーが出るので、エラー メッセージに従ってちょっとした修正を加えます。

そのままだと A1 セルの原文しか Google 翻訳にかけられないので、該当箇所をループ処理に変更して、複数セルを Google 翻訳にかけられるようにします。

実行速度が気になる場合は配列を使うとよくなるかも?

Google 翻訳文とポストエディット文の類似度チェックをする

「文章 類似度 Excel マクロ」といったキーワードで検索すると、マクロで実現可能な様々な類似度チェック方法を見付けることができます。

※どの方法がよいかはまだ検証中※