ใครที่เขียนโค้ดกับ AI มาสักพักน่าจะเคยเจอสถานการณ์นี้: AI บอกว่าแก้ bug แล้ว คุณรัน มันยังพัง AI ขอโทษแล้วแก้ใหม่ ก็ยังพัง รอบที่สามมันกลับไปแก้แบบเดียวกับรอบแรก ผ่านไปหนึ่งชั่วโมงทุกอย่างยังอยู่ที่เดิม หรือแย่กว่าเดิม ผมเรียกปัญหาแบบนี้ว่า ghost bug ซึ่งส่วนใหญ่มีรากมาจาก AI hallucination โพสต์นี้คือวิธีที่ผมใช้สังเกตและหยุดมัน
AI hallucination ในโค้ดหน้าตาเป็นอย่างไร
AI hallucination คือการที่ model สร้างข้อมูลที่ฟังดูสมเหตุสมผลแต่ไม่มีอยู่จริง ในงานโค้ดมักออกมาในรูปแบบเหล่านี้
- ตัวแปรหรือ property ที่ไม่มีอยู่ เช่นเรียก
$order->customer_nameทั้งที่ตารางมีแค่customer_id - method ของ library ที่ไม่มีจริง หรือมีในเวอร์ชันอื่น ไม่ใช่เวอร์ชันที่โปรเจกต์ใช้
- config key หรือ env ที่แต่งขึ้นเอง ดูเหมือนจริงมากเพราะตั้งชื่อตาม convention
- ไฟล์หรือฟังก์ชันที่ AI "จำได้" ว่าเคยเห็น ทั้งที่ยังไม่เคยเปิดอ่านในรอบนี้
- คำอธิบายผลลัพธ์ที่ไม่ได้รันจริง เช่น "ตอนนี้ test ผ่านแล้ว" โดยไม่มีผลการรันประกอบ
สิ่งที่อันตรายคือทั้งหมดนี้มาพร้อมน้ำเสียงมั่นใจเท่ากับคำตอบที่ถูก
Ghost bug เกิดขึ้นอย่างไร
ghost bug คือ bug ที่เราไล่แก้ แต่ต้นเหตุจริงไม่ได้อยู่ตรงที่เรากำลังดู วงจรที่ผมเจอบ่อยคือ
- AI เดาสาเหตุจาก error message โดยไม่ได้อ่านโค้ดที่เกี่ยวข้องครบ
- แก้ตามที่เดา ซึ่งอาจทำให้ error เปลี่ยนหน้าตา แต่ไม่หาย
- เห็น error ใหม่ เลยเดาสาเหตุใหม่ แล้วแก้ซ้อนลงไป
- หลายรอบผ่านไป โค้ดมีการแก้ซ้อนกันจนไม่มีใครรู้ว่าอะไรคือของเดิม
ยิ่ง context ยาว AI ยิ่งมีโอกาสจำผิดว่าเคยแก้อะไรไปแล้ว และวนกลับไปแก้แบบเดิม
สัญญาณเตือนว่ากำลังเจอ ghost bug
ผมจะหยุดทันทีเมื่อเห็นข้อใดข้อหนึ่ง
- แก้เรื่องเดิมเกินสองรอบแล้วยังไม่หาย
- AI เสนอวิธีแก้ที่เคยลองไปแล้ว
- diff เริ่มแตะไฟล์ที่ไม่เกี่ยวกับ error ตั้งต้น
- AI เริ่มเพิ่ม
try/catchหรือifเพื่อ "กัน" error แทนการหาสาเหตุ - ผมเองตอบไม่ได้ว่าตอนนี้โค้ดต่างจากตอนเริ่มอย่างไร
วิธีตรวจ: หาหลักฐานก่อน แก้ทีหลัง
เมื่อหยุดแล้ว ผมเปลี่ยนจากโหมด "แก้" เป็นโหมด "พิสูจน์" ขั้นแรกคือยืนยันว่าสิ่งที่ AI อ้างถึงมีอยู่จริง ด้วยการค้นในโค้ดเอง ไม่ใช่ถาม AI
# ชื่อนี้มีอยู่จริงไหม ถูกนิยามที่ไหน
grep -rn "customer_name" app/ database/migrations/
# method นี้มีใน library เวอร์ชันที่เราใช้ไหม
composer show laravel/framework | grep versions
grep -rn "function whereFullText" vendor/laravel/framework/src/
ขั้นที่สองคือทำให้ bug เกิดซ้ำได้แบบเล็กที่สุด เช่น test หนึ่งตัวหรือคำสั่งหนึ่งบรรทัดที่ fail ทุกครั้ง ถ้ายังทำให้เกิดซ้ำไม่ได้ ก็ยังไม่ควรแก้
ขั้นที่สามคือดู log และ stack trace จริงทั้งหมด ไม่ใช่แค่บรรทัดแรก หลายครั้งบรรทัดที่บอกสาเหตุจริงอยู่ลึกลงไปใน trace
วิธีหยุด: reset แล้วเริ่มด้วยข้อเท็จจริง
ถ้าวนมาหลายรอบแล้ว สิ่งที่ได้ผลที่สุดสำหรับผมคือ
- ย้อนโค้ดกลับไปจุดเริ่ม ด้วย
git stashหรือgit checkoutทิ้งการแก้ซ้อนทั้งหมด - เริ่ม session ใหม่ ให้ context สะอาด ไม่มีความจำผิด ๆ จากรอบก่อน
- ส่งเฉพาะข้อเท็จจริง เช่น error เต็ม ๆ โค้ดที่เกี่ยวข้องจริง และวิธีทำให้ bug เกิดซ้ำ
- ขอให้ AI อธิบายสาเหตุก่อน แก้ทีหลัง และให้บอกว่ามั่นใจแค่ไหน ข้อไหนตรวจแล้ว ข้อไหนยังเป็นการเดา
ข้อ 4 สำคัญมาก เมื่อบังคับให้แยก "สิ่งที่ตรวจแล้ว" ออกจาก "สิ่งที่เดา" เราจะเห็นทันทีว่าคำตอบที่ฟังดูมั่นใจนั้นตั้งอยู่บนอะไร
ป้องกันไว้ก่อนดีกว่า
- ให้ AI อ่านไฟล์ที่เกี่ยวข้องก่อนแก้เสมอ แทนการให้มันเขียนจากความจำ
- บอกเวอร์ชันของ framework และ library ใน prompt
- ขอ diff เล็ก จะได้เห็นการเดาที่ผิดตั้งแต่เนิ่น ๆ
- รัน test หลังทุกการแก้ ไม่ใช่รอแก้หลายจุดแล้วรันทีเดียว
สรุป
AI hallucination ไม่ได้แปลว่า AI ใช้ไม่ได้ แต่แปลว่าเราต้องมีวิธีจับมัน สังเกตสัญญาณของ ghost bug ให้เร็ว เช่น การแก้วนเกินสองรอบหรือ diff ที่ลามไปไฟล์อื่น เมื่อเจอแล้วให้หยุด ตรวจว่าสิ่งที่ AI อ้างมีอยู่จริง ทำให้ bug เกิดซ้ำได้ แล้วเริ่มใหม่ด้วย context สะอาดและข้อเท็จจริงเท่านั้น หลักฐานจากการรันจริงชนะความมั่นใจเสมอ