AI hallucination และ ghost bug: ตัวแปรที่ไม่มีจริงกับการแก้วนไม่จบ

AI hallucination ในงานเขียนโค้ดทำให้เกิด ghost bug เช่น ตัวแปรที่ไม่มีอยู่จริงและการแก้วนซ้ำไม่จบ โพสต์นี้รวมวิธีสังเกต วิธีตรวจ และวิธีหยุดก่อนเสียเวลาทั้งวัน

Kasidit Wansudonอ่าน 3 นาที
aidebuggingclaude-codeworkflow

ใครที่เขียนโค้ดกับ AI มาสักพักน่าจะเคยเจอสถานการณ์นี้: AI บอกว่าแก้ bug แล้ว คุณรัน มันยังพัง AI ขอโทษแล้วแก้ใหม่ ก็ยังพัง รอบที่สามมันกลับไปแก้แบบเดียวกับรอบแรก ผ่านไปหนึ่งชั่วโมงทุกอย่างยังอยู่ที่เดิม หรือแย่กว่าเดิม ผมเรียกปัญหาแบบนี้ว่า ghost bug ซึ่งส่วนใหญ่มีรากมาจาก AI hallucination โพสต์นี้คือวิธีที่ผมใช้สังเกตและหยุดมัน

AI hallucination ในโค้ดหน้าตาเป็นอย่างไร

AI hallucination คือการที่ model สร้างข้อมูลที่ฟังดูสมเหตุสมผลแต่ไม่มีอยู่จริง ในงานโค้ดมักออกมาในรูปแบบเหล่านี้

  • ตัวแปรหรือ property ที่ไม่มีอยู่ เช่นเรียก $order->customer_name ทั้งที่ตารางมีแค่ customer_id
  • method ของ library ที่ไม่มีจริง หรือมีในเวอร์ชันอื่น ไม่ใช่เวอร์ชันที่โปรเจกต์ใช้
  • config key หรือ env ที่แต่งขึ้นเอง ดูเหมือนจริงมากเพราะตั้งชื่อตาม convention
  • ไฟล์หรือฟังก์ชันที่ AI "จำได้" ว่าเคยเห็น ทั้งที่ยังไม่เคยเปิดอ่านในรอบนี้
  • คำอธิบายผลลัพธ์ที่ไม่ได้รันจริง เช่น "ตอนนี้ test ผ่านแล้ว" โดยไม่มีผลการรันประกอบ

สิ่งที่อันตรายคือทั้งหมดนี้มาพร้อมน้ำเสียงมั่นใจเท่ากับคำตอบที่ถูก

Ghost bug เกิดขึ้นอย่างไร

ghost bug คือ bug ที่เราไล่แก้ แต่ต้นเหตุจริงไม่ได้อยู่ตรงที่เรากำลังดู วงจรที่ผมเจอบ่อยคือ

  1. AI เดาสาเหตุจาก error message โดยไม่ได้อ่านโค้ดที่เกี่ยวข้องครบ
  2. แก้ตามที่เดา ซึ่งอาจทำให้ error เปลี่ยนหน้าตา แต่ไม่หาย
  3. เห็น error ใหม่ เลยเดาสาเหตุใหม่ แล้วแก้ซ้อนลงไป
  4. หลายรอบผ่านไป โค้ดมีการแก้ซ้อนกันจนไม่มีใครรู้ว่าอะไรคือของเดิม

ยิ่ง context ยาว AI ยิ่งมีโอกาสจำผิดว่าเคยแก้อะไรไปแล้ว และวนกลับไปแก้แบบเดิม

สัญญาณเตือนว่ากำลังเจอ ghost bug

ผมจะหยุดทันทีเมื่อเห็นข้อใดข้อหนึ่ง

  • แก้เรื่องเดิมเกินสองรอบแล้วยังไม่หาย
  • AI เสนอวิธีแก้ที่เคยลองไปแล้ว
  • diff เริ่มแตะไฟล์ที่ไม่เกี่ยวกับ error ตั้งต้น
  • AI เริ่มเพิ่ม try/catch หรือ if เพื่อ "กัน" error แทนการหาสาเหตุ
  • ผมเองตอบไม่ได้ว่าตอนนี้โค้ดต่างจากตอนเริ่มอย่างไร

วิธีตรวจ: หาหลักฐานก่อน แก้ทีหลัง

เมื่อหยุดแล้ว ผมเปลี่ยนจากโหมด "แก้" เป็นโหมด "พิสูจน์" ขั้นแรกคือยืนยันว่าสิ่งที่ AI อ้างถึงมีอยู่จริง ด้วยการค้นในโค้ดเอง ไม่ใช่ถาม AI

# ชื่อนี้มีอยู่จริงไหม ถูกนิยามที่ไหน
grep -rn "customer_name" app/ database/migrations/

# method นี้มีใน library เวอร์ชันที่เราใช้ไหม
composer show laravel/framework | grep versions
grep -rn "function whereFullText" vendor/laravel/framework/src/

ขั้นที่สองคือทำให้ bug เกิดซ้ำได้แบบเล็กที่สุด เช่น test หนึ่งตัวหรือคำสั่งหนึ่งบรรทัดที่ fail ทุกครั้ง ถ้ายังทำให้เกิดซ้ำไม่ได้ ก็ยังไม่ควรแก้

ขั้นที่สามคือดู log และ stack trace จริงทั้งหมด ไม่ใช่แค่บรรทัดแรก หลายครั้งบรรทัดที่บอกสาเหตุจริงอยู่ลึกลงไปใน trace

วิธีหยุด: reset แล้วเริ่มด้วยข้อเท็จจริง

ถ้าวนมาหลายรอบแล้ว สิ่งที่ได้ผลที่สุดสำหรับผมคือ

  1. ย้อนโค้ดกลับไปจุดเริ่ม ด้วย git stash หรือ git checkout ทิ้งการแก้ซ้อนทั้งหมด
  2. เริ่ม session ใหม่ ให้ context สะอาด ไม่มีความจำผิด ๆ จากรอบก่อน
  3. ส่งเฉพาะข้อเท็จจริง เช่น error เต็ม ๆ โค้ดที่เกี่ยวข้องจริง และวิธีทำให้ bug เกิดซ้ำ
  4. ขอให้ AI อธิบายสาเหตุก่อน แก้ทีหลัง และให้บอกว่ามั่นใจแค่ไหน ข้อไหนตรวจแล้ว ข้อไหนยังเป็นการเดา

ข้อ 4 สำคัญมาก เมื่อบังคับให้แยก "สิ่งที่ตรวจแล้ว" ออกจาก "สิ่งที่เดา" เราจะเห็นทันทีว่าคำตอบที่ฟังดูมั่นใจนั้นตั้งอยู่บนอะไร

ป้องกันไว้ก่อนดีกว่า

  • ให้ AI อ่านไฟล์ที่เกี่ยวข้องก่อนแก้เสมอ แทนการให้มันเขียนจากความจำ
  • บอกเวอร์ชันของ framework และ library ใน prompt
  • ขอ diff เล็ก จะได้เห็นการเดาที่ผิดตั้งแต่เนิ่น ๆ
  • รัน test หลังทุกการแก้ ไม่ใช่รอแก้หลายจุดแล้วรันทีเดียว

สรุป

AI hallucination ไม่ได้แปลว่า AI ใช้ไม่ได้ แต่แปลว่าเราต้องมีวิธีจับมัน สังเกตสัญญาณของ ghost bug ให้เร็ว เช่น การแก้วนเกินสองรอบหรือ diff ที่ลามไปไฟล์อื่น เมื่อเจอแล้วให้หยุด ตรวจว่าสิ่งที่ AI อ้างมีอยู่จริง ทำให้ bug เกิดซ้ำได้ แล้วเริ่มใหม่ด้วย context สะอาดและข้อเท็จจริงเท่านั้น หลักฐานจากการรันจริงชนะความมั่นใจเสมอ

มีคำถามหรืออยากแลกเปลี่ยน?

ฝากข้อความไว้ที่ guestbook หรือทักมาทาง X ได้เลยครับ