เวลามีคนบอกว่า "AI ตอบผิด" ปฏิกิริยาแรกของ developer ส่วนใหญ่คือเปิดไฟล์ prompt แล้วเพิ่มประโยคเข้าไปอีกหนึ่งบรรทัด ผมเคยทำแบบนั้นเหมือนกัน และพบว่ามันแก้เคสหนึ่งแต่ทำเคสอื่นพัง การรีวิวคุณภาพคำตอบ LLM จาก trace คือวิธีที่ผมใช้แทนการเดา โดยเฉพาะตอนดูแล AI sales agent ที่ตอบคำถามผ่าน DingTalk ในสี่ภาษา
หลักคิดง่าย ๆ คือ คำตอบผิดมีต้นเหตุได้ไม่กี่แบบ และ trace ที่ดีจะบอกได้ว่าเป็นแบบไหน
ทำไมต้องเป็น trace ไม่ใช่แค่ log
log ทั่วไปบอกว่า "เกิดอะไรขึ้น" แต่ trace บอกว่า "เกิดขึ้นตามลำดับอะไร และแต่ละขั้นได้อะไรมา" สำหรับ LLM application หนึ่งคำตอบผ่านหลายขั้น ตั้งแต่ตีความคำถาม ค้นข้อมูล เรียก tool ไปจนถึงเรียบเรียงคำตอบ ถ้าเห็นแค่คำถามกับคำตอบสุดท้าย เราจะไม่มีทางรู้ว่าพังตรงไหน
ควร log อะไรบ้าง
ผมกำหนด trace ขั้นต่ำไว้แบบนี้สำหรับทุก request
{
"trace_id": "tr_01",
"user_ref": "hashed-user-id",
"question": "ยอดขายรุ่น X เดือนนี้เท่าไร",
"detected_language": "th",
"model": "model-name",
"prompt_version": "sales-agent-v12",
"retrieval": [
{ "source": "product_catalog", "doc_id": "p-123", "score": 0.82 }
],
"tool_calls": [
{
"name": "get_sales_summary",
"input": { "product": "X", "period": "this_month" },
"output_summary": "rows=1",
"latency_ms": 240
}
],
"answer": "...",
"tokens": { "input": 1800, "output": 220 },
"total_latency_ms": 3100,
"feedback": null
}
ฟิลด์ที่คนมักลืมแต่สำคัญมากคือ prompt_version เพราะถ้าไม่รู้ว่าคำตอบนี้มาจาก prompt เวอร์ชันไหน การเปรียบเทียบก่อนและหลังแก้จะทำไม่ได้เลย
อีกเรื่องคือความเป็นส่วนตัว ผมเก็บตัวผู้ใช้เป็นค่า hash และสรุป output ของ tool แทนการเก็บข้อมูลดิบทั้งหมด trace มีไว้ debug ไม่ใช่สำเนาฐานข้อมูล
สามต้นเหตุหลัก: retrieval, prompt, data
เมื่อเจอคำตอบที่ผิด ผมไล่เช็กตามลำดับนี้
1. Retrieval ผิด ดูว่าเอกสารหรือผล tool ที่ได้มามีคำตอบที่ถูกอยู่หรือไม่ ถ้าไม่มีเลย ปัญหาไม่ได้อยู่ที่ model สัญญาณที่พบบ่อยคือ
- score ของเอกสารต่ำทั้งหมด
- tool ถูกเรียกด้วย parameter ผิด เช่น ช่วงเวลาผิด หรือชื่อรุ่นสะกดต่างกัน
- คำถามเป็นภาษาหนึ่ง แต่เอกสารเป็นอีกภาษา ทำให้ค้นไม่เจอ
2. Prompt ผิด ข้อมูลที่ถูกต้องอยู่ใน context แล้ว แต่ model ยังตอบผิด เช่น เลือกตัวเลขผิดแถว ตอบผิดภาษา หรือแต่งรายละเอียดเพิ่ม กรณีนี้ถึงจะเป็นเวลาที่ควรแก้ prompt
3. Data ผิด model ตอบตรงกับข้อมูลทุกตัวอักษร แต่ข้อมูลต้นทางผิดหรือล้าสมัย กรณีนี้แก้ prompt เท่าไรก็ไม่หาย ต้องแก้ที่ระบบต้นทาง หรือเพิ่มข้อมูลวันที่อัปเดตในคำตอบเพื่อให้ผู้ใช้รู้
จากประสบการณ์ของผม ปัญหาส่วนใหญ่ไม่ได้อยู่ที่ prompt แต่อยู่ที่ retrieval และ data ซึ่งเป็นเหตุผลที่การรีบแก้ prompt มักไม่ได้ผล
กระบวนการรีวิวรายสัปดาห์
ผมไม่ได้รีวิวทุก trace แต่ใช้วิธีสุ่มอย่างมีระบบ
- ดึง trace ที่ได้ feedback ลบทั้งหมด
- สุ่ม trace ปกติเพิ่มจำนวนหนึ่ง แยกตามภาษา เพื่อดูว่าไม่มีภาษาไหนถูกทิ้ง
- ดึง trace ที่ latency หรือ token สูงผิดปกติ
- ติด label แต่ละเคสว่าเป็น retrieval, prompt, data หรือ "ถูกต้องแล้ว"
- รวมจำนวนตาม label แล้วแก้กลุ่มที่ใหญ่ที่สุดก่อน
ข้อ 4 ทำให้ทีมคุยกันด้วยภาษาเดียวกัน แทนที่จะพูดว่า "AI ไม่ฉลาด" เราพูดว่า "สัปดาห์นี้ retrieval พลาดเรื่องชื่อรุ่นภาษาจีน" ซึ่งแก้ได้ตรงจุด
ทำ regression set จาก trace
ทุกเคสที่แก้แล้ว ผมเก็บคำถามและคำตอบที่คาดหวังไว้เป็น regression set ก่อน deploy prompt ใหม่ทุกครั้งจะรันชุดนี้เพื่อดูว่าเคสเก่ายังผ่านหรือไม่ ไม่ต้องใช้เครื่องมือซับซ้อน เริ่มจากไฟล์ JSON กับสคริปต์ที่รันแล้วเทียบผลก็พอ สิ่งสำคัญคือต้องมีก่อนเปลี่ยน ไม่ใช่หลังจากพังแล้ว
แนวคิดเดียวกันนี้ผมใช้กับการทำงานกับ AI coding ด้วย ถ้าสนใจเรื่องการบังคับให้ AI แสดงความมั่นใจของตัวเอง ลองอ่าน confidence labels สำหรับ AI output
Checklist สั้น ๆ
- trace มี
prompt_version, model, ภาษา, retrieval, tool calls และ token - ข้อมูลผู้ใช้ถูก hash หรือย่อ
- ทุกคำตอบผิดถูกติด label หนึ่งในสามต้นเหตุ
- แก้กลุ่มที่ใหญ่ที่สุดก่อน
- เคสที่แก้แล้วเข้า regression set
สรุป
การรีวิวคุณภาพคำตอบ LLM จาก trace เปลี่ยนการแก้ปัญหาจากการเดาเป็นการวินิจฉัย log ให้ครบพอจะเห็นทุกขั้น แยกต้นเหตุเป็น retrieval, prompt หรือ data แล้วแก้ตรงจุด ส่วนใหญ่คุณจะพบว่า prompt ไม่ใช่ผู้ร้าย และการรู้แบบนี้ช่วยประหยัดเวลาไปได้มาก