ปัญหาใหญ่ที่สุดของการทำงานกับ AI ไม่ใช่ว่ามันผิด แต่คือมัน ผิดด้วยน้ำเสียงเดียวกับตอนที่ถูก ประโยค "สาเหตุของ bug คือ cache หมดอายุ" ฟังดูมั่นใจเท่ากัน ไม่ว่า model จะรันโค้ดดูแล้ว หรือแค่เดาจากชื่อฟังก์ชัน วิธีแก้ที่ผมใช้มาตลอดปีนี้และใส่ไว้ใน Kasidit คือ confidence label บังคับให้ทุกข้อสรุปของ AI ระบุว่ามั่นใจระดับไหน
สามระดับที่ใช้
ผมใช้แค่สามระดับ เพราะถ้ามากกว่านี้คนจะเลิกใส่ใจ
- verified ตรวจด้วย runtime แล้ว เช่น รัน test แล้วผ่าน รัน query แล้วเห็นผล เปิด log แล้วเจอ error นั้นจริง
- likely มีหลักฐานจากการอ่านโค้ดหรือเอกสาร แต่ยังไม่ได้รันพิสูจน์ เช่น อ่าน function แล้วเห็นว่าไม่มีการ handle null
- guess สมมติฐานที่ยังไม่มีหลักฐานตรง เช่น "น่าจะเป็นปัญหา timezone" เพราะ bug เกิดตอนเที่ยงคืน
ตัวอย่างคำตอบที่ติด label แล้ว:
[verified] test OrderTotalTest::test_discount fail ด้วยค่า 90.00 แทน 85.00
[likely] DiscountCalculator ปัดเศษก่อนคูณ quantity (บรรทัด 42)
[guess] bug อาจเริ่มหลังเปลี่ยน config ปัดเศษ ยังไม่ได้ดู git log
แผน: เขียน test ยืนยันข้อ 2 ก่อนแก้
แค่อ่านสามบรรทัดนี้ ผมรู้ทันทีว่าควรเชื่ออะไร และอะไรต้องตรวจต่อ
Ghost bug เกิดจากอะไร
ghost bug คือ bug ที่ไม่มีอยู่จริง แต่ทีมเสียเวลาไล่แก้ เพราะ AI บอกว่ามันมี ผมเขียนเรื่องนี้ไว้ละเอียดใน AI hallucination และ ghost bug แต่กลไกสั้น ๆ คือ:
- model เดาสาเหตุหนึ่งขึ้นมา
- เพราะไม่มี label การเดานั้นถูกนำเสนอเหมือนข้อเท็จจริง
- model หรือคนสร้างการแก้ไขบนสมมติฐานนั้น
- การแก้ไขไม่ได้ผล เลยเดาสาเหตุใหม่ซ้อนลงไปอีกชั้น
- วนลูปจนโค้ดเต็มไปด้วยการแก้ที่ไม่จำเป็น
confidence label ตัดวงจรนี้ที่ขั้นที่ 2 เมื่อสมมติฐานถูกติดป้าย guess ทุกคนรู้ว่ายังไม่ควรแก้อะไรจนกว่าจะยกระดับเป็น verified
ลดการรีวิวที่เสียเปล่าอย่างไร
ก่อนใช้ label เวลาผมรีวิวงานที่ AI ทำ ผมต้องตรวจทุกข้อความใหม่หมด เพราะไม่รู้ว่าข้อไหนผ่านการตรวจมาแล้ว หลังใช้ label การรีวิวเปลี่ยนไปแบบนี้:
- verified ดูหลักฐานคร่าว ๆ เช่น output ของ test แล้วผ่านได้เลย
- likely ใช้เวลาส่วนใหญ่ตรงนี้ อ่านโค้ดจุดที่อ้างถึงเพื่อยืนยัน
- guess ไม่รีวิวเลย แต่ถามว่า "จะพิสูจน์ได้อย่างไร"
ผลคือเวลารีวิวไปกองอยู่ตรงจุดที่มีความเสี่ยงจริง แทนที่จะกระจายเท่า ๆ กันทุกบรรทัด และที่สำคัญกว่านั้น งานที่ส่งมาพร้อม guess เยอะ ๆ จะถูกตีกลับก่อนเสียเวลารีวิวโค้ดทั้งก้อน
วิธีเริ่มใช้กับ Claude Code
ไม่ต้องติดตั้งอะไรก็เริ่มได้ ใส่กฎนี้ใน CLAUDE.md ของโปรเจกต์:
## Confidence labels
ทุกข้อสรุปเกี่ยวกับสาเหตุของ bug หรือพฤติกรรมของโค้ด ต้องขึ้นต้นด้วย:
- [verified] เมื่อรันคำสั่ง/test แล้วเห็นผลจริง (แนบ output สั้น ๆ)
- [likely] เมื่อมีหลักฐานจากโค้ด (อ้างไฟล์และบรรทัด)
- [guess] เมื่อยังไม่มีหลักฐาน
ห้ามแก้โค้ดโดยอิงข้อสรุปที่เป็น [guess] จนกว่าจะยืนยันได้
บรรทัดสุดท้ายคือหัวใจ label ที่ไม่มีผลต่อการกระทำจะกลายเป็นแค่ของตกแต่ง
เคล็ดลับจากการใช้จริง
- ระวัง verified ปลอม model บางครั้งติด verified ทั้งที่ไม่ได้รันอะไร ให้กำหนดว่า verified ต้องแนบ output จริงเสมอ ถ้าไม่มี output ให้ถือเป็น likely
- guess ไม่ใช่เรื่องผิด อย่าทำให้ agent หรือคนในทีมรู้สึกว่าการบอก guess คือความล้มเหลว การเดาอย่างเปิดเผยดีกว่าการเดาแบบซ่อนเสมอ
- ใช้กับคนด้วย ผมเริ่มใช้ label นี้ในการคุยกับทีมเวลาสรุป incident หรือรายงานความคืบหน้า ช่วยให้การสื่อสารข้ามภาษาชัดขึ้นมาก เพราะ label สั้นและไม่ขึ้นกับความสามารถทางภาษา
- ใส่ใน checklist ปิดงาน ก่อนบอกว่างานเสร็จ ข้อสรุปหลักต้องเป็น verified ทั้งหมด
ตัวอย่างจากงานจริง
สมมติผู้ใช้แจ้งว่ารายงานยอดขายของเมื่อวานไม่ตรงกับระบบต้นทาง ถ้าไม่มี label คำตอบแรกของ AI มักเป็น "ปัญหาเกิดจาก timezone ให้แก้การแปลงเวลาใน query" แล้วก็เริ่มแก้โค้ดทันที
เมื่อมี label คำตอบเดียวกันจะกลายเป็น [guess] อาจเป็น timezone ซึ่งบังคับให้ขั้นต่อไปเป็นการพิสูจน์ ไม่ใช่การแก้ เช่น query ยอดของแถวที่อยู่ใกล้เที่ยงคืนเทียบกันทั้งสองฝั่ง ถ้าผลยืนยัน label ก็เลื่อนเป็น verified และการแก้มีหลักฐานรองรับ ถ้าไม่ยืนยัน เราเพิ่งประหยัดเวลาที่จะไปแก้โค้ดที่ไม่ได้ผิด และไม่ต้องย้อนแก้สิ่งที่แก้ไปแล้วอีกรอบ
ทีมของผมใช้คำถามสั้น ๆ ว่า "label อะไร" ในการคุยงานประจำวัน กลายเป็นวิธีถามหาหลักฐานแบบที่ไม่มีใครรู้สึกว่าถูกจับผิด
สรุป
confidence label แก้ปัญหาที่ AI พูดสิ่งที่เดาด้วยน้ำเสียงเดียวกับสิ่งที่รู้ ใช้สามระดับ verified, likely, guess บังคับว่า verified ต้องมีหลักฐานจาก runtime และห้ามแก้โค้ดบนฐานของ guess ผลที่ได้คือ ghost bug ลดลงชัดเจน และเวลารีวิวไปอยู่ตรงจุดที่เสี่ยงจริง กฎนี้เป็นส่วนหนึ่งของ Kasidit ดูเพิ่มเติมได้ที่ https://kasi.kasion.dev