Evaluation — วัดผล prompt และ agent ด้วยตัวเลข ไม่ใช่ความรู้สึก

import csv
import sys
from typing import Literal

import anthropic
from pydantic import BaseModel

TASK_MODEL = "claude-sonnet-5-5"
JUDGE_MODEL = "claude-opus-5-5"
PRICE = {"claude-sonnet-5-5": (2, 10), "claude-opus-5-5": (4, 20)}  # USD ต่อ 1M token (input, output)

SYSTEM_PROMPT = """จัดหมวดข้อความลูกค้าร้านกาแฟออนไลน์ และร่างคำตอบสั้นภาษาไทย ไม่เกิน 3 บรรทัด
หมวด: billing (การเงิน ใบแจ้งหนี้ ส่วนลด), shipping (การจัดส่ง), refund (ขอคืนเงิน/คืนสินค้า),
technical (แอป เว็บ ล็อกอิน), other (อื่นๆ)"""

RUBRIC = """ให้คะแนนคำตอบถึงลูกค้า 1-5: สุภาพ ตรงประเด็น ไม่สัญญาสิ่งที่ร้านอาจทำไม่ได้ (เช่น คืนเงินทันที)
ไม่ขอข้อมูลบัตรเต็มเลข passed=true เมื่อ score >= 4"""


class Ticket(BaseModel):
    category: Literal["billing", "shipping", "refund", "technical", "other"]
    reply: str


class Grade(BaseModel):
    score: int
    passed: bool
    reason: str


client = anthropic.Anthropic()
total_cost = 0.0


def ask(model, system, text, schema):
    global total_cost
    r = client.messages.parse(model=model, max_tokens=16000, system=system,
                              messages=[{"role": "user", "content": text}], output_format=schema)
    p_in, p_out = PRICE[model]
    total_cost += (r.usage.input_tokens * p_in + r.usage.output_tokens * p_out) / 1_000_000
    return r.parsed_output


split = sys.argv[2] if len(sys.argv) > 2 else "dev"  # dev = T01-T14, test = T15-T20
rows = [r for r in csv.DictReader(open(sys.argv[1], encoding="utf-8"))
        if split == "all" or (int(r["id"][1:]) <= 14) == (split == "dev")]
correct = good_reply = 0
for row in rows:
    out = ask(TASK_MODEL, SYSTEM_PROMPT, row["input"], Ticket)
    if out is None:
        print(row["id"], "ไม่ได้ผลลัพธ์ (อาจถูกปฏิเสธ)")
        continue
    ok = out.category == row["expected_category"]
    grade = ask(JUDGE_MODEL, RUBRIC, f"ข้อความลูกค้า: {row['input']}\nคำตอบ: {out.reply}", Grade)
    correct += ok
    good_reply += bool(grade and grade.passed)
    if not ok or not (grade and grade.passed):
        print(f"{row['id']} คาด={row['expected_category']} ได้={out.category} judge={grade.score if grade else '-'} {grade.reason if grade else ''}")

n = len(rows)
print(f"\n[{split}] หมวดถูก {correct}/{n} = {correct / n:.0%} | คำตอบผ่าน rubric {good_reply}/{n}")
print(f"ต้นทุนรวม ${total_cost:.4f} | ต่อเคส ${total_cost / n:.4f} (รวมค่า judge)")

python eval_tickets.py samples/eval-cases.csv dev

นี่คือ rubric ที่ใช้ให้ AI ให้คะแนนคำตอบลูกค้า: [วาง RUBRIC]
ยกตัวอย่างคำตอบ 3 แบบที่ได้คะแนนสูงตาม rubric แต่จริงๆ แย่ แล้วเสนอ rubric ที่รัดกุมขึ้น