ระดับ 8d · บทที่ 6/6

Capstone: ระบบตรวจ PR หลายมุม — workflow + ตรวจซ้ำ + trigger + พิสูจน์ว่าคุ้ม

⏱ 60 นาทีลองในClaude ↗

📎 ไฟล์ตัวอย่างสำหรับบทนี้

เป้าหมาย

สร้างระบบหลาย agent ที่ใช้งานจริงในทีม 1 ระบบ แล้ว พิสูจน์ด้วยตัวเลข ว่าดีกว่า agent ตัวเดียวพอจะคุ้มต้นทุนหรือไม่ — ถ้าไม่คุ้ม การตัดสินใจกลับไปใช้ agent ตัวเดียวก็ถือว่าผ่าน capstone

หลักการ

ระบบที่จะสร้าง

PR ใหม่ / สั่งเอง
   └─▶ /pr-review <ช่วง diff>                          (workflow, บท 8d-03)
         ├─ Review: correctness │ security │ tests     (3 agent พร้อมกัน, effort low)
         └─ Verify: แต่ละข้อมี agent พยายามหักล้าง       (เหลือเฉพาะข้อที่ยืนยันได้)
   └─▶ ผล: ข้อที่ยืนยัน + จำนวนที่ถูกหักล้าง
   └─▶ คนอ่าน แล้วตัดสินใจคอมเมนต์ใน PR               (agent ไม่โพสต์เอง)

เกณฑ์ "คุ้ม" ที่ตั้งก่อนเริ่ม

วัด วิธี
ปัญหาจริงที่เจอ ปัญหาที่คนในทีมยืนยันว่าจริงและควรแก้
ผลบวกลวง ข้อที่ระบบรายงานแต่คนเห็นว่าไม่จริง
ต้นทุนต่อ PR total_cost_usd จาก -p
เวลาที่คนใช้อ่านผล จับเวลาเอง

เทียบกับ baseline: agent ตัวเดียว ที่ได้ prompt รีวิวแบบเดียวกันในคำสั่งเดียว

ตั้งค่า ⚙️

ตั้งอะไร ค่าที่ใช้ ทำไม
ที่เก็บ workflow .claude/workflows/pr-review.js (commit ให้ทีม) ทุกคนได้ฉบับเดียวกัน
สิทธิ์ --permission-mode dontAsk + Workflow, Read, Glob, Grep, Bash(git diff *), Bash(git log *), Bash(git show *) อ่านอย่างเดียว ไม่มีทาง commit/push
effort ของ agent ย่อย low ในสคริปต์ งานเฉพาะมุม ไม่ต้องคิดยาว
จำนวนข้อต่อมุม maxItems: 5 ใน schema กันรายการยาวที่ไม่มีใครอ่าน
เพดานงบ (ถ้ารันใน CI) --max-budget-usd 3 + timeout-minutes กัน PR ใหญ่ผิดปกติ

ลองเลย 🧪

ขั้น 1 — ติดตั้งและรันกับ PR จริง 1 อัน

mkdir -p .claude/workflows && cp pr-review.js .claude/workflows/
claude -p "/pr-review main...HEAD" --permission-mode dontAsk \
  --allowedTools "Workflow" "Read" "Glob" "Grep" "Bash(git diff *)" "Bash(git log *)" "Bash(git show *)" \
  --output-format json < /dev/null > review-multi.json
jq -r '.result' review-multi.json; jq '.total_cost_usd' review-multi.json

ขั้น 2 — baseline: agent ตัวเดียว

claude -p "รีวิว git diff main...HEAD 3 มุม: correctness, security, tests รายงานเฉพาะปัญหาที่ชี้บรรทัดและสถานการณ์ที่พังได้จริง มุมละไม่เกิน 5 ข้อ ห้ามหาเรื่อง ห้ามแก้ไฟล์" \
  --permission-mode dontAsk --disallowedTools "Agent" "Workflow" \
  --allowedTools "Read" "Glob" "Grep" "Bash(git diff *)" "Bash(git log *)" "Bash(git show *)" \
  --output-format json < /dev/null > review-single.json
jq -r '.result' review-single.json; jq '.total_cost_usd' review-single.json

ขั้น 3 — ให้คนตัดสิน ทำซ้ำขั้น 1–2 กับ PR อย่างน้อย 5 อัน (รวม PR ที่รู้อยู่แล้วว่ามีบั๊ก ถ้ามี) แล้วกรอกตาราง

PR | แบบ | ปัญหาจริง | ผลบวกลวง | ต้นทุน $ | เวลาอ่าน (นาที)

ให้ Claude ช่วยสรุป (แบบมีคนเฝ้า):

นี่คือผลเทียบระบบรีวิว 2 แบบจาก 5 PR: [วางตาราง]
คำนวณต่อ PR: ปัญหาจริงเฉลี่ย ผลบวกลวงเฉลี่ย ต้นทุนต่อปัญหาจริง 1 ข้อ
แล้วตอบตรงๆ ว่าแบบหลาย agent คุ้มไหม สำหรับ PR แบบไหน (ขนาด/ความเสี่ยง) และแบบไหนควรใช้ agent ตัวเดียว

ขั้น 4 — ต่อ trigger (เลือก 1)

  • GitHub Actions: ใน workflow ของบท 6d-06 ใส่ prompt: "/pr-review origin/main...HEAD" และอนุญาต tool ตามตารางตั้งค่า (checkout ด้วย fetch-depth: 0 เพื่อให้มีประวัติ main)
  • Routine GitHub trigger (บท 8d-04): event Pull request + ตัวกรอง label needs-ai-review — รันเฉพาะ PR ที่คนติด label
  • ให้ผลออกเป็น log หรือร่างคอมเมนต์ คนในทีมเป็นคนโพสต์

ตัวอย่างผลจริงจากการทดสอบในคอร์ส (repo ทดลองบท 7d, diff 3 commit): multi-agent ใช้ ~$0.79 ได้ข้อยืนยัน 1 ข้อ — slugify("สวัสดี") คืนค่าว่าง ซึ่งเป็นปัญหาจริงสำหรับเว็บภาษาไทย (ชื่อบทความภาษาไทยทุกอันจะได้ slug ซ้ำกัน) และมุม security/tests ไม่แต่งเรื่องขึ้นมา

ข้อดี / ข้อเสีย

✅ ข้อดี ❌ ข้อเสีย
หลายมุมพร้อมกัน + ขั้นหักล้าง = ผลบวกลวงน้อย คนอ่านเร็ว แพงกว่า agent ตัวเดียวหลายเท่าต่อ PR
เป็นคำสั่งของทีมที่ทำซ้ำได้ ปรับมุมได้ที่ไฟล์เดียว PR เล็กๆ ส่วนใหญ่ agent ตัวเดียวก็พอ
วัดผลได้ชัด จึงตัดสินใจด้วยข้อมูล ยังพลาดปัญหาที่ต้องรู้บริบทธุรกิจ คนยังต้องรีวิว

ผลลัพธ์ที่ "ผ่าน" ได้ทั้งสองทาง: ใช้ multi-agent กับ PR ที่เสี่ยง (แตะเงิน สิทธิ์ ข้อมูลลูกค้า) และ agent ตัวเดียวกับที่เหลือ — หรือสรุปว่าไม่คุ้มเลย พร้อมตัวเลข

สังเกตอะไร

  • ขั้นตรวจซ้ำมักสำคัญกว่าจำนวน reviewer — ลองตัดขั้น Verify ออกแล้วนับผลบวกลวงเทียบ
  • ทุกระบบหลาย agent ที่ดีจบด้วย "คน + ตัวเลข" ไม่ใช่ "agent บอกว่าดี"

สรุปจำง่าย

สร้างระบบหลาย agent แล้วเทียบกับ agent ตัวเดียวด้วยตัวเลขจริง — เก็บไว้เฉพาะจุดที่คุ้ม และให้คนตัดสินใจสุดท้ายเสมอ