BLEU 指標

中級

4.6.1

BLEU 指標

最終更新 2020-01-29 読了時間 3 分
まとめ
  • BLEU は候補文と参照文の n-gram 一致度を使って翻訳品質を測る指標です。
  • n-gram の重なりと brevity penalty を実装し、スコアの出方を確認します。
  • 語順や同義語に弱い特性と複数参照で補う方法を整理します。

1. BLEU の考え方 #

  1. 1-gram〜n-gram（通常は 4-gram まで）について、候補文と参照文の一致度（modified precision）を計算する。
  2. 各 precision の対数平均を取り、幾何平均に変換する。
  3. 候補文が参照文より短い場合は brevity penalty を掛け、過度な省略を罰する。

BLEU スコアは 0〜1 の範囲を取り、値が大きいほど参照文に近い翻訳と見なされます。

2. 数学的定義 #

修正精度（Modified Precision） #

通常の精度は候補文の n-gram が参照文に出現する割合ですが、同じ n-gram を何度も繰り返す候補に対して不当に高くなります。修正精度は、参照文に出現する回数で上限を設けます:

$$p_n = \frac{\sum_{C \in \text{Candidates}} \sum_{\text{n-gram} \in C} \min\!\left(\text{Count}(\text{n-gram}),\; \text{MaxRef}(\text{n-gram})\right)}{\sum_{C \in \text{Candidates}} \sum_{\text{n-gram} \in C} \text{Count}(\text{n-gram})}$$

BLEU スコアの計算 #

BLEU は $N$-gram（通常 $N=4$）までの修正精度の幾何平均に、brevity penalty を掛けた値です:

$$\text{BLEU} = \text{BP} \cdot \exp\!\left(\sum_{n=1}^{N} w_n \ln p_n\right)$$

ここで $w_n = 1/N$（均等重み）です。

Brevity Penalty（BP） #

候補文が参照文より短い場合にペナルティを課します:

$$\text{BP} = \begin{cases} 1 & \text{if } c > r \\\\ e^{1 - r/c} & \text{if } c \leq r \end{cases}$$

$c$ は候補文の長さ、$r$ は最も近い参照文の長さです。

計算例 #

候補文: “the cat is on the mat”（6 トークン） 参照文: “there is a cat on the mat”（7 トークン）

n-gram レベル一致数候補 n-gram 総数$p_n$
15 (“the”, “cat”, “is”, “on”, “the mat” → 重複修正で 5)65/6
23 (“the cat”, “on the”, “the mat”)53/5
31 (“on the mat”)41/4
41 (“on the mat” の延長なし)30/3

$p_4 = 0$ のため、この例では BLEU-4 = 0 になります。実務では smoothing を適用して 0 を回避します。

3. Python 3.13 での実装例 #

標準ライブラリのみで BLEU を実装し、候補文と参照文のサンプルに適用します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

from __future__ import annotations

import math
from collections import Counter
from collections.abc import Iterable, Sequence

def ngram_counts(tokens: Sequence[str], n: int) -> Counter[tuple[str, ...]]:
    """トークン列から n-gram の頻度を数える。"""
    return Counter(tuple(tokens[i : i + n]) for i in range(len(tokens) - n + 1))

def modified_precision(
    candidate: Sequence[str],
    references: Iterable[Sequence[str]],
    n: int,
) -> tuple[int, int]:
    """候補文の n-gram が参照文に出現した件数と候補文の n-gram 総数を返す。"""
    cand_counts = ngram_counts(candidate, n)
    max_ref: Counter[tuple[str, ...]] = Counter()
    for ref in references:
        max_ref |= ngram_counts(ref, n)
    overlap = {ng: min(count, max_ref[ng]) for ng, count in cand_counts.items()}
    return sum(overlap.values()), max(1, sum(cand_counts.values()))

def brevity_penalty(candidate_len: int, reference_lens: Iterable[int]) -> float:
    """候補文が短すぎる場合に課す brevity penalty を計算する。"""
    if candidate_len == 0:
        return 0.0
    closest_ref_len = min(reference_lens, key=lambda r: (abs(r - candidate_len), r))
    ratio = candidate_len / closest_ref_len
    if ratio > 1:
        return 1.0
    return math.exp(1 - 1 / ratio)

def bleu(candidate: str, references: Sequence[str], max_n: int = 4) -> float:
    """候補文と参照文の集合から BLEU スコアを計算する。"""
    candidate_tokens = candidate.split()
    reference_tokens = [ref.split() for ref in references]
    precisions: list[float] = []
    for n_value in range(1, max_n + 1):
        overlap, total = modified_precision(candidate_tokens, reference_tokens, n_value)
        precisions.append(overlap / total)
    if min(precisions) == 0:
        return 0.0
    geometric_mean = math.exp(sum(math.log(p) for p in precisions) / max_n)
    penalty = brevity_penalty(len(candidate_tokens), (len(ref) for ref in reference_tokens))
    return penalty * geometric_mean

if __name__ == "__main__":
    candidate_sentence = "the cat is on the mat"
    reference_sentences = [
        "there is a cat on the mat",
        "the cat sits on the mat",
    ]
    score = bleu(candidate_sentence, reference_sentences)
    print(f"BLEU = {score:.3f}")

出力例:

BLEU = 0.638

3. 長所 #

  • 実装が容易で高速。翻訳ベンチマークの比較指標として長く使われている。
  • 参照文を複数用意すると、言い換えに対する耐性が上がる。

4. 注意点 #

  • 同義語や語順の違いに弱く、意味が同じでもスコアが低く出ることがある。
  • 長文要約では人手評価との相関が低くなる場合がある。
  • 日本語など語境界が曖昧な言語では、分かち書きなどで適切にトークン化してから計算する。

まとめ #

  • BLEU は n-gram 一致度と brevity penalty で翻訳の品質を推定する自動評価指標。
  • Python 3.13 では標準ライブラリで容易に実装でき、型ヒント付きにしておくと再利用性が高まる。
  • 語彙の多様性や語順の違いを評価したい場合は、ROUGE や METEOR などの指標も併用して総合的に判断しよう。