LLMフレームワークDSPy Optimizer の metric を理解する

"""
DSPy metric 比較デモ: 同じ回答を3つのmetricで採点するとどうなるか？

構成:
  Step 1: BootstrapFewShotで最適化（部分一致metricを使用）
  Step 2: 最適化済みモジュールでテスト質問に回答させる
  Step 3: 同じ回答を3つのmetricで採点して、スコアの違いを比較

ポイント:
  trainsetの正解を「短い表記」にしておく（例: "3776m", "明智光秀"）
  LLMが「3776メートル」「明智光秀です」のように返すと、
  metricごとに合否が割れる → 違いが明確に見える

前提:
  source ~/dspy-env/bin/activate
  pip install dspy-ai openai
  export OPENAI_API_KEY="sk-your-key-here"

実行:
  python dspy_metric_comparison.py
"""

import dspy

# ============================================================
# 1. LMの設定
# ============================================================
lm = dspy.LM("openai/gpt-4o-mini")
dspy.configure(lm=lm)

# ============================================================
# 2. 学習データ（正解を「短い表記」で統一）
# ============================================================
trainset = [
    dspy.Example(question="富士山の標高は？", answer="3776m"),
    dspy.Example(question="本能寺の変を起こしたのは誰？", answer="明智光秀"),
    dspy.Example(question="日本国憲法が施行された年は？", answer="1947年"),
    dspy.Example(question="人間の体温の平均は？", answer="36.5度"),
    dspy.Example(question="地球から太陽までの距離は？", answer="約1億5000万km"),
    dspy.Example(question="円周率を小数第2位まで答えよ", answer="3.14"),
    dspy.Example(question="関ヶ原の戦いは何年？", answer="1600年"),
    dspy.Example(question="日本で最も面積の大きい都道府県は？", answer="北海道"),
]
trainset = [ex.with_inputs("question") for ex in trainset]

# ============================================================
# 3. テスト用データ（正解付き）
#    正解を「短い表記」で書いておくことで、
#    LLMの回答スタイルとの差が生まれやすくする
# ============================================================
testset = [
    dspy.Example(question="東京スカイツリーの高さは？",         answer="634m"),
    dspy.Example(question="鎌倉幕府を開いたのは誰？",          answer="源頼朝"),
    dspy.Example(question="日本が降伏した年は？",             answer="1945年"),
    dspy.Example(question="光が1年間に進む距離を何という？",     answer="光年"),
    dspy.Example(question="日本で2番目に高い山は？",           answer="北岳"),
    dspy.Example(question="酸素の元素記号は？",              answer="O"),
    dspy.Example(question="徳川幕府の初代将軍は？",           answer="徳川家康"),
    dspy.Example(question="水が沸騰する温度は？",             answer="100度"),
    dspy.Example(question="日本の通貨単位は？",              answer="円"),
    dspy.Example(question="太陽系の惑星はいくつ？",            answer="8"),
]
testset = [ex.with_inputs("question") for ex in testset]

# ============================================================
# 4. metric を3パターン定義する
# ============================================================

def metric_partial(example, pred, trace=None):
    """部分一致: 正解が回答に含まれていればOK"""
    return example.answer.lower() in pred.answer.lower()

def metric_exact(example, pred, trace=None):
    """完全一致: 正解と回答が完全に同じでないとNG"""
    return example.answer.strip().lower() == pred.answer.strip().lower()

judge = dspy.ChainOfThought(
    "question, expected_answer, predicted_answer -> judgment: bool"
)
def metric_llm(example, pred, trace=None):
    """LLM採点: LLM自身に正しいか判定させる"""
    try:
        result = judge(
            question=example.question,
            expected_answer=example.answer,
            predicted_answer=pred.answer,
        )
        return result.judgment
    except Exception:
        return False

# ============================================================
# 5. BootstrapFewShotで最適化（部分一致metricを使用）
# ============================================================
print("=" * 60)
print("【最適化中（部分一致metricで BootstrapFewShot）...】")
print("=" * 60)

qa = dspy.ChainOfThought("question -> answer")

optimizer = dspy.BootstrapFewShot(
    metric=metric_partial,
    max_bootstrapped_demos=3,
    max_labeled_demos=2,
)
optimized_qa = optimizer.compile(qa, trainset=trainset)
print("最適化完了！\n")

# ============================================================
# 6. テスト質問に回答させ、3つのmetricで同時採点
# ============================================================
print("=" * 60)
print("【テスト結果: 同じ回答を3つのmetricで採点】")
print("=" * 60)
print()

header = f"{'質問':<25} {'正解':<10} {'LLMの回答':<20} {'部分一致':>8} {'完全一致':>8} {'LLM採点':>8}"
print(header)
print("-" * len(header))

score_partial = 0
score_exact = 0
score_llm = 0

for ex in testset:
    pred = optimized_qa(question=ex.question)

    # 3つのmetricで採点
    p = metric_partial(ex, pred)
    e = metric_exact(ex, pred)
    l = metric_llm(ex, pred)

    score_partial += int(p)
    score_exact += int(e)
    score_llm += int(l)

    # 回答の表示用（長すぎたら切り詰め）
    answer_display = pred.answer
    if len(answer_display) > 18:
        answer_display = answer_display[:17] + "…"

    mark_p = "✅" if p else "❌"
    mark_e = "✅" if e else "❌"
    mark_l = "✅" if l else "❌"

    print(f"{ex.question:<25} {ex.answer:<10} {answer_display:<20} {mark_p:>8} {mark_e:>8} {mark_l:>8}")

total = len(testset)
print("-" * len(header))
print(f"{'スコア':<57} {score_partial}/{total}     {score_exact}/{total}     {score_llm}/{total}")

# ============================================================
# 7. 結果の解説
# ============================================================
print()
print("=" * 60)
print("【読み方ガイド】")
print("=" * 60)
print()
print("  同じLLMの回答でも、metricによって合否が分かれるケースに注目してください。")
print()
print("  例: 正解「634m」に対して LLMが「634メートル」と回答した場合")
print("    部分一致 → ❌ (「634m」が「634メートル」に含まれていない)")
print("    完全一致 → ❌ (「634m」≠「634メートル」)")
print("    LLM採点  → ✅ (意味的に同じとLLMが判定)")
print()
print("  例: 正解「O」に対して LLMが「O（酸素）」と回答した場合")
print("    部分一致 → ✅ (「O」が「O（酸素）」に含まれている)")
print("    完全一致 → ❌ (「O」≠「O（酸素）」)")
print("    LLM採点  → ✅ (意味的に同じとLLMが判定)")
print()
print("  このように、metricの選び方がOptimizerの「目標」を決めます。")
print("  厳密なmetricを使えば厳密な回答が、寛容なmetricを使えば自然な回答が促されます。")