เป้าหมาย
สร้างระบบหลาย agent ที่ใช้งานจริงในทีม 1 ระบบ แล้ว พิสูจน์ด้วยตัวเลข ว่าดีกว่า agent ตัวเดียวพอจะคุ้มต้นทุนหรือไม่ — ถ้าไม่คุ้ม การตัดสินใจกลับไปใช้ agent ตัวเดียวก็ถือว่าผ่าน capstone
หลักการ
ระบบที่จะสร้าง
PR ใหม่ / สั่งเอง
└─▶ /pr-review <ช่วง diff> (workflow, บท 8d-03)
├─ Review: correctness │ security │ tests (3 agent พร้อมกัน, effort low)
└─ Verify: แต่ละข้อมี agent พยายามหักล้าง (เหลือเฉพาะข้อที่ยืนยันได้)
└─▶ ผล: ข้อที่ยืนยัน + จำนวนที่ถูกหักล้าง
└─▶ คนอ่าน แล้วตัดสินใจคอมเมนต์ใน PR (agent ไม่โพสต์เอง)เกณฑ์ "คุ้ม" ที่ตั้งก่อนเริ่ม
| วัด | วิธี |
|---|---|
| ปัญหาจริงที่เจอ | ปัญหาที่คนในทีมยืนยันว่าจริงและควรแก้ |
| ผลบวกลวง | ข้อที่ระบบรายงานแต่คนเห็นว่าไม่จริง |
| ต้นทุนต่อ PR | total_cost_usd จาก -p |
| เวลาที่คนใช้อ่านผล | จับเวลาเอง |
เทียบกับ baseline: agent ตัวเดียว ที่ได้ prompt รีวิวแบบเดียวกันในคำสั่งเดียว
ตั้งค่า ⚙️
| ตั้งอะไร | ค่าที่ใช้ | ทำไม |
|---|---|---|
| ที่เก็บ workflow | .claude/workflows/pr-review.js (commit ให้ทีม) |
ทุกคนได้ฉบับเดียวกัน |
| สิทธิ์ | --permission-mode dontAsk + Workflow, Read, Glob, Grep, Bash(git diff *), Bash(git log *), Bash(git show *) |
อ่านอย่างเดียว ไม่มีทาง commit/push |
| effort ของ agent ย่อย | low ในสคริปต์ |
งานเฉพาะมุม ไม่ต้องคิดยาว |
| จำนวนข้อต่อมุม | maxItems: 5 ใน schema |
กันรายการยาวที่ไม่มีใครอ่าน |
| เพดานงบ (ถ้ารันใน CI) | --max-budget-usd 3 + timeout-minutes |
กัน PR ใหญ่ผิดปกติ |
ลองเลย 🧪
ขั้น 1 — ติดตั้งและรันกับ PR จริง 1 อัน
mkdir -p .claude/workflows && cp pr-review.js .claude/workflows/
claude -p "/pr-review main...HEAD" --permission-mode dontAsk \
--allowedTools "Workflow" "Read" "Glob" "Grep" "Bash(git diff *)" "Bash(git log *)" "Bash(git show *)" \
--output-format json < /dev/null > review-multi.json
jq -r '.result' review-multi.json; jq '.total_cost_usd' review-multi.jsonขั้น 2 — baseline: agent ตัวเดียว
claude -p "รีวิว git diff main...HEAD 3 มุม: correctness, security, tests รายงานเฉพาะปัญหาที่ชี้บรรทัดและสถานการณ์ที่พังได้จริง มุมละไม่เกิน 5 ข้อ ห้ามหาเรื่อง ห้ามแก้ไฟล์" \
--permission-mode dontAsk --disallowedTools "Agent" "Workflow" \
--allowedTools "Read" "Glob" "Grep" "Bash(git diff *)" "Bash(git log *)" "Bash(git show *)" \
--output-format json < /dev/null > review-single.json
jq -r '.result' review-single.json; jq '.total_cost_usd' review-single.jsonขั้น 3 — ให้คนตัดสิน ทำซ้ำขั้น 1–2 กับ PR อย่างน้อย 5 อัน (รวม PR ที่รู้อยู่แล้วว่ามีบั๊ก ถ้ามี) แล้วกรอกตาราง
PR | แบบ | ปัญหาจริง | ผลบวกลวง | ต้นทุน $ | เวลาอ่าน (นาที)ให้ Claude ช่วยสรุป (แบบมีคนเฝ้า):
นี่คือผลเทียบระบบรีวิว 2 แบบจาก 5 PR: [วางตาราง]
คำนวณต่อ PR: ปัญหาจริงเฉลี่ย ผลบวกลวงเฉลี่ย ต้นทุนต่อปัญหาจริง 1 ข้อ
แล้วตอบตรงๆ ว่าแบบหลาย agent คุ้มไหม สำหรับ PR แบบไหน (ขนาด/ความเสี่ยง) และแบบไหนควรใช้ agent ตัวเดียวขั้น 4 — ต่อ trigger (เลือก 1)
- GitHub Actions: ใน workflow ของบท 6d-06 ใส่
prompt: "/pr-review origin/main...HEAD"และอนุญาต tool ตามตารางตั้งค่า (checkout ด้วยfetch-depth: 0เพื่อให้มีประวัติ main) - Routine GitHub trigger (บท 8d-04): event Pull request + ตัวกรอง label
needs-ai-review— รันเฉพาะ PR ที่คนติด label - ให้ผลออกเป็น log หรือร่างคอมเมนต์ คนในทีมเป็นคนโพสต์
ตัวอย่างผลจริงจากการทดสอบในคอร์ส (repo ทดลองบท 7d, diff 3 commit): multi-agent ใช้ ~$0.79 ได้ข้อยืนยัน 1 ข้อ — slugify("สวัสดี") คืนค่าว่าง ซึ่งเป็นปัญหาจริงสำหรับเว็บภาษาไทย (ชื่อบทความภาษาไทยทุกอันจะได้ slug ซ้ำกัน) และมุม security/tests ไม่แต่งเรื่องขึ้นมา
ข้อดี / ข้อเสีย
| ✅ ข้อดี | ❌ ข้อเสีย |
|---|---|
| หลายมุมพร้อมกัน + ขั้นหักล้าง = ผลบวกลวงน้อย คนอ่านเร็ว | แพงกว่า agent ตัวเดียวหลายเท่าต่อ PR |
| เป็นคำสั่งของทีมที่ทำซ้ำได้ ปรับมุมได้ที่ไฟล์เดียว | PR เล็กๆ ส่วนใหญ่ agent ตัวเดียวก็พอ |
| วัดผลได้ชัด จึงตัดสินใจด้วยข้อมูล | ยังพลาดปัญหาที่ต้องรู้บริบทธุรกิจ คนยังต้องรีวิว |
ผลลัพธ์ที่ "ผ่าน" ได้ทั้งสองทาง: ใช้ multi-agent กับ PR ที่เสี่ยง (แตะเงิน สิทธิ์ ข้อมูลลูกค้า) และ agent ตัวเดียวกับที่เหลือ — หรือสรุปว่าไม่คุ้มเลย พร้อมตัวเลข
สังเกตอะไร
- ขั้นตรวจซ้ำมักสำคัญกว่าจำนวน reviewer — ลองตัดขั้น Verify ออกแล้วนับผลบวกลวงเทียบ
- ทุกระบบหลาย agent ที่ดีจบด้วย "คน + ตัวเลข" ไม่ใช่ "agent บอกว่าดี"
สรุปจำง่าย
สร้างระบบหลาย agent แล้วเทียบกับ agent ตัวเดียวด้วยตัวเลขจริง — เก็บไว้เฉพาะจุดที่คุ้ม และให้คนตัดสินใจสุดท้ายเสมอ