Confidence label บนคำตอบ AI: verified, likely, guess

การติด confidence label แบบ verified, likely และ guess ให้คำตอบของ AI ช่วยลด ghost bug และการรีวิวที่เสียเปล่าได้อย่างไร พร้อมวิธีใช้กับ Claude Code และทีม

Kasidit Wansudonอ่าน 4 นาที
aiclaude-codecode-reviewkasidit

ปัญหาใหญ่ที่สุดของการทำงานกับ AI ไม่ใช่ว่ามันผิด แต่คือมัน ผิดด้วยน้ำเสียงเดียวกับตอนที่ถูก ประโยค "สาเหตุของ bug คือ cache หมดอายุ" ฟังดูมั่นใจเท่ากัน ไม่ว่า model จะรันโค้ดดูแล้ว หรือแค่เดาจากชื่อฟังก์ชัน วิธีแก้ที่ผมใช้มาตลอดปีนี้และใส่ไว้ใน Kasidit คือ confidence label บังคับให้ทุกข้อสรุปของ AI ระบุว่ามั่นใจระดับไหน

สามระดับที่ใช้

ผมใช้แค่สามระดับ เพราะถ้ามากกว่านี้คนจะเลิกใส่ใจ

  • verified ตรวจด้วย runtime แล้ว เช่น รัน test แล้วผ่าน รัน query แล้วเห็นผล เปิด log แล้วเจอ error นั้นจริง
  • likely มีหลักฐานจากการอ่านโค้ดหรือเอกสาร แต่ยังไม่ได้รันพิสูจน์ เช่น อ่าน function แล้วเห็นว่าไม่มีการ handle null
  • guess สมมติฐานที่ยังไม่มีหลักฐานตรง เช่น "น่าจะเป็นปัญหา timezone" เพราะ bug เกิดตอนเที่ยงคืน

ตัวอย่างคำตอบที่ติด label แล้ว:

[verified] test OrderTotalTest::test_discount fail ด้วยค่า 90.00 แทน 85.00
[likely]   DiscountCalculator ปัดเศษก่อนคูณ quantity (บรรทัด 42)
[guess]    bug อาจเริ่มหลังเปลี่ยน config ปัดเศษ ยังไม่ได้ดู git log
แผน: เขียน test ยืนยันข้อ 2 ก่อนแก้

แค่อ่านสามบรรทัดนี้ ผมรู้ทันทีว่าควรเชื่ออะไร และอะไรต้องตรวจต่อ

Ghost bug เกิดจากอะไร

ghost bug คือ bug ที่ไม่มีอยู่จริง แต่ทีมเสียเวลาไล่แก้ เพราะ AI บอกว่ามันมี ผมเขียนเรื่องนี้ไว้ละเอียดใน AI hallucination และ ghost bug แต่กลไกสั้น ๆ คือ:

  1. model เดาสาเหตุหนึ่งขึ้นมา
  2. เพราะไม่มี label การเดานั้นถูกนำเสนอเหมือนข้อเท็จจริง
  3. model หรือคนสร้างการแก้ไขบนสมมติฐานนั้น
  4. การแก้ไขไม่ได้ผล เลยเดาสาเหตุใหม่ซ้อนลงไปอีกชั้น
  5. วนลูปจนโค้ดเต็มไปด้วยการแก้ที่ไม่จำเป็น

confidence label ตัดวงจรนี้ที่ขั้นที่ 2 เมื่อสมมติฐานถูกติดป้าย guess ทุกคนรู้ว่ายังไม่ควรแก้อะไรจนกว่าจะยกระดับเป็น verified

ลดการรีวิวที่เสียเปล่าอย่างไร

ก่อนใช้ label เวลาผมรีวิวงานที่ AI ทำ ผมต้องตรวจทุกข้อความใหม่หมด เพราะไม่รู้ว่าข้อไหนผ่านการตรวจมาแล้ว หลังใช้ label การรีวิวเปลี่ยนไปแบบนี้:

  • verified ดูหลักฐานคร่าว ๆ เช่น output ของ test แล้วผ่านได้เลย
  • likely ใช้เวลาส่วนใหญ่ตรงนี้ อ่านโค้ดจุดที่อ้างถึงเพื่อยืนยัน
  • guess ไม่รีวิวเลย แต่ถามว่า "จะพิสูจน์ได้อย่างไร"

ผลคือเวลารีวิวไปกองอยู่ตรงจุดที่มีความเสี่ยงจริง แทนที่จะกระจายเท่า ๆ กันทุกบรรทัด และที่สำคัญกว่านั้น งานที่ส่งมาพร้อม guess เยอะ ๆ จะถูกตีกลับก่อนเสียเวลารีวิวโค้ดทั้งก้อน

วิธีเริ่มใช้กับ Claude Code

ไม่ต้องติดตั้งอะไรก็เริ่มได้ ใส่กฎนี้ใน CLAUDE.md ของโปรเจกต์:

## Confidence labels
ทุกข้อสรุปเกี่ยวกับสาเหตุของ bug หรือพฤติกรรมของโค้ด ต้องขึ้นต้นด้วย:
- [verified] เมื่อรันคำสั่ง/test แล้วเห็นผลจริง (แนบ output สั้น ๆ)
- [likely] เมื่อมีหลักฐานจากโค้ด (อ้างไฟล์และบรรทัด)
- [guess] เมื่อยังไม่มีหลักฐาน
ห้ามแก้โค้ดโดยอิงข้อสรุปที่เป็น [guess] จนกว่าจะยืนยันได้

บรรทัดสุดท้ายคือหัวใจ label ที่ไม่มีผลต่อการกระทำจะกลายเป็นแค่ของตกแต่ง

เคล็ดลับจากการใช้จริง

  • ระวัง verified ปลอม model บางครั้งติด verified ทั้งที่ไม่ได้รันอะไร ให้กำหนดว่า verified ต้องแนบ output จริงเสมอ ถ้าไม่มี output ให้ถือเป็น likely
  • guess ไม่ใช่เรื่องผิด อย่าทำให้ agent หรือคนในทีมรู้สึกว่าการบอก guess คือความล้มเหลว การเดาอย่างเปิดเผยดีกว่าการเดาแบบซ่อนเสมอ
  • ใช้กับคนด้วย ผมเริ่มใช้ label นี้ในการคุยกับทีมเวลาสรุป incident หรือรายงานความคืบหน้า ช่วยให้การสื่อสารข้ามภาษาชัดขึ้นมาก เพราะ label สั้นและไม่ขึ้นกับความสามารถทางภาษา
  • ใส่ใน checklist ปิดงาน ก่อนบอกว่างานเสร็จ ข้อสรุปหลักต้องเป็น verified ทั้งหมด

ตัวอย่างจากงานจริง

สมมติผู้ใช้แจ้งว่ารายงานยอดขายของเมื่อวานไม่ตรงกับระบบต้นทาง ถ้าไม่มี label คำตอบแรกของ AI มักเป็น "ปัญหาเกิดจาก timezone ให้แก้การแปลงเวลาใน query" แล้วก็เริ่มแก้โค้ดทันที

เมื่อมี label คำตอบเดียวกันจะกลายเป็น [guess] อาจเป็น timezone ซึ่งบังคับให้ขั้นต่อไปเป็นการพิสูจน์ ไม่ใช่การแก้ เช่น query ยอดของแถวที่อยู่ใกล้เที่ยงคืนเทียบกันทั้งสองฝั่ง ถ้าผลยืนยัน label ก็เลื่อนเป็น verified และการแก้มีหลักฐานรองรับ ถ้าไม่ยืนยัน เราเพิ่งประหยัดเวลาที่จะไปแก้โค้ดที่ไม่ได้ผิด และไม่ต้องย้อนแก้สิ่งที่แก้ไปแล้วอีกรอบ

ทีมของผมใช้คำถามสั้น ๆ ว่า "label อะไร" ในการคุยงานประจำวัน กลายเป็นวิธีถามหาหลักฐานแบบที่ไม่มีใครรู้สึกว่าถูกจับผิด

สรุป

confidence label แก้ปัญหาที่ AI พูดสิ่งที่เดาด้วยน้ำเสียงเดียวกับสิ่งที่รู้ ใช้สามระดับ verified, likely, guess บังคับว่า verified ต้องมีหลักฐานจาก runtime และห้ามแก้โค้ดบนฐานของ guess ผลที่ได้คือ ghost bug ลดลงชัดเจน และเวลารีวิวไปอยู่ตรงจุดที่เสี่ยงจริง กฎนี้เป็นส่วนหนึ่งของ Kasidit ดูเพิ่มเติมได้ที่ https://kasi.kasion.dev

มีคำถามหรืออยากแลกเปลี่ยน?

ฝากข้อความไว้ที่ guestbook หรือทักมาทาง X ได้เลยครับ