言語モデルの評価指標

まとめ

この章では、翻訳や要約のように「正解が 1 つではない」文章生成タスクの自動評価を学びます。BLEU は候補文の n-gram が参照文にどれだけ含まれるかの精度（Precision）を 4-gram まで幾何平均し、短すぎる出力に brevity penalty を掛けて翻訳を採点します。ROUGE は逆に参照文の n-gram や最長共通部分列（LCS）をどれだけ拾えたかの再現率（Recall）を見るので、要約の情報の取りこぼしを測るのに向きます。語彙の一致では捉えられない言い換えを評価するための BERTScore などの埋め込みベース指標と LLM-as-a-Judge の位置づけも押さえ、タスクと計算コストに応じて指標を選べるようになります。

直感 #

翻訳や要約のように「正解が1つではない」タスクでは、評価が難しい。同じ意味の文でも表現は無数にあり、語彙の一致だけで品質を測ると優れた言い換えが低スコアになってしまう。一方で、BERTScore のように意味的に近いだけを測ると、事実の正確さや流暢さは保証されない。このチャプターではn-gramベースと埋め込みベースの2つのアプローチを学び、タスクと計算コストに応じた評価戦略を組み立てる力を身に付ける。

詳細な解説 #

このチャプターで学べること #

BLEUのn-gram Precision計算と短縮ペナルティの仕組み、翻訳タスクでの標準的な使い方
ROUGE-1/2/Lの違い、Recall重視の要約評価での活用パターン
BERTScore・BLEURT・COMETなど埋め込みベース指標の概要と、n-gram指標との相補関係
LLM-as-a-Judge（LLMによる自動採点）の手法とバイアスへの対処

これがわかるとできること #

翻訳・要約・生成タスクに応じて、BLEU・ROUGE・BERTScore のどれを使うか選択できる
語彙一致と意味的類似度の両面からモデルの出力品質を多角的に診断できる
自動指標と人手評価を組み合わせた評価パイプラインを設計できる

指標間の関係マップ #

graph LR NG["n-gram ベース"] --> BLEU["BLEU"] NG --> ROUGE["ROUGE"] EMB["埋め込みベース"] --> BS["BERTScore"] EMB --> BL["BLEURT"] HU["人手 / LLM"] --> LJ["LLM-as-Judge"]

学習の進め方 #

まず BLEU で、候補文の n-gram を参照文の出現回数で上限を付けて数える修正精度と brevity penalty という、n-gram ベース評価の基本の計算方法を押さえる。次に ROUGE で、参照文側を分母にした再現率の考え方と、ROUGE-1/2/L を要約タスクに当てはめる方法を学ぶ。最後に埋め込みベース指標や LLM 評価との使い分けを理解し、言い換えに強い指標と n-gram 指標を組み合わせた評価戦略の幅を広げる。