Kasidit บน SWE-bench: จาก 63% เป็น 75% ด้วยวินัย ไม่ใช่ prompt ที่ยาวขึ้น

ผล SWE-bench ของ Kasidit resolved 75% เทียบ 63% แบบไม่มี framework วินัยเรื่อง scope, checklist และ confidence label เปลี่ยนอะไร และควรอ่าน benchmark อย่างไร

Kasidit Wansudonอ่าน 4 นาที
aiclaude-codebenchmarkkasidit

ตั้งแต่เริ่มทำ Kasidit ในเดือนเมษายน 2026 คำถามที่ผมโดนถามบ่อยที่สุดคือ "มันช่วยได้จริงไหม หรือแค่รู้สึกว่าช่วย" คำตอบที่ตรงที่สุดที่ผมมีตอนนี้คือผล SWE-bench: เมื่อรัน Claude Code พร้อม Kasidit ได้ผล 75% resolved เทียบกับ 63% เมื่อรันแบบไม่มี framework ในโพสต์นี้ผมจะเล่าว่าส่วนต่างนั้นมาจากไหน และที่สำคัญไม่แพ้กันคือ เราควรอ่านตัวเลข benchmark แบบนี้อย่างไรไม่ให้หลอกตัวเอง

SWE-bench วัดอะไร และ "resolved" แปลว่าอะไร

SWE-bench คือชุดงานที่ดึงมาจาก issue จริงใน repository open source แต่ละงานมี codebase, คำอธิบายปัญหา และชุด test ที่ใช้ตัดสิน agent ต้องแก้โค้ดให้ test ที่เคย fail กลับมาผ่าน โดยไม่ทำให้ test เดิมพัง ถ้าผ่านครบถือว่า "resolved"

สิ่งที่ผมชอบในการวัดแบบนี้คือ runtime เป็นผู้ตัดสิน ไม่ใช่ความรู้สึกของคนรีวิว โค้ดจะดูสวยแค่ไหนก็ไม่มีความหมายถ้า test ไม่ผ่าน ซึ่งตรงกับหลักการข้อหนึ่งของ Kasidit พอดี

ส่วนต่าง 12 จุดมาจากไหน

ผมไม่ได้เปลี่ยน model และไม่ได้เขียน prompt ให้ยาวขึ้น สิ่งที่เปลี่ยนคือ "วินัยในการทำงาน" ของ agent ซึ่งแบ่งได้เป็นสามเรื่องหลัก

1. Scope ที่ชัดก่อนแตะโค้ด

ความผิดพลาดที่เจอบ่อยที่สุดตอนรันแบบไม่มี framework คือ agent แก้เกินกว่าที่ issue ขอ เช่น เห็นฟังก์ชันข้าง ๆ ที่ "ดูไม่ดี" ก็ refactor ไปด้วย ผลคือ test เดิมพังทั้งที่ bug หลักแก้ถูกแล้ว

Kasidit บังคับให้ agent เขียน mission ก่อน: ปัญหาคืออะไร ไฟล์ไหนน่าจะเกี่ยว และอะไรที่ "ไม่อยู่ใน scope" ถ้าเขียนไม่ได้ ให้หยุดและอ่านโค้ดเพิ่ม ไม่ใช่เดาแล้วแก้ ผมเขียนเรื่องนี้ละเอียดไว้ใน ทำไม AI agent ควรปฏิเสธ scope ที่คลุมเครือ

2. Checklist ก่อนบอกว่าเสร็จ

agent ส่วนใหญ่มีนิสัยประกาศว่า "แก้เสร็จแล้ว" เร็วเกินไป Kasidit ให้ทุก mission จบด้วย checklist สั้น ๆ:

[ ] reproduce bug ได้ก่อนแก้ (หรือเขียน test ที่ fail)
[ ] แก้เฉพาะไฟล์ที่อยู่ใน scope
[ ] รัน test ที่เกี่ยวข้องแล้วผ่าน
[ ] รัน test ข้างเคียงที่อาจกระทบแล้วผ่าน
[ ] diff ไม่มีการเปลี่ยนที่ไม่ได้ตั้งใจ

ฟังดูพื้นฐานมาก แต่การบังคับให้ทำทุกครั้งคือจุดที่ต่างกัน เพราะ model เก่งพอจะทำทุกข้อได้อยู่แล้ว ปัญหาคือมันไม่ได้ทำ

3. Confidence label

ทุกข้อสรุปของ agent ต้องติดป้าย: verified (รันแล้วเห็นผลจริง), likely (มีหลักฐานจากโค้ดแต่ยังไม่ได้รัน) หรือ guess (เดา) เมื่อ agent ต้องติดป้าย guess ให้กับสมมติฐานของตัวเอง มันจะหยุดสร้างการแก้ไขบนฐานที่ไม่มีอยู่จริง ซึ่งเป็นต้นเหตุของ ghost bug จำนวนมาก

อ่านผล benchmark อย่างซื่อตรง

ตรงนี้คือส่วนที่ผมอยากให้ทุกคนที่อ่านตัวเลข AI benchmark จำไว้ รวมถึงตัวเลขของผมเองด้วย

เปรียบเทียบภายใต้เงื่อนไขเดียวกันเท่านั้น ตัวเลข 75% กับ 63% มีความหมายเพราะใช้ model เดียวกัน ชุดงานเดียวกัน และวิธีตัดสินเดียวกัน แค่เปลี่ยนว่ามีหรือไม่มี framework เอาตัวเลขนี้ไปเทียบกับ leaderboard ของคนอื่นที่ใช้ setup ต่างกันไม่ได้

ดูส่วนต่าง ไม่ใช่ตัวเลขดิบ สิ่งที่ผลนี้บอกจริง ๆ คือ "วินัยเพิ่มอัตราการแก้สำเร็จได้ชัดเจนบนงานประเภทนี้" ไม่ได้บอกว่า Kasidit ทำให้ AI แก้ bug ได้ 75% ในโปรเจกต์ของคุณ

benchmark ไม่ใช่งานจริงทั้งหมด issue ใน SWE-bench มีคำอธิบายชัดและมี test ตัดสิน งานจริงหลายงานไม่มีทั้งสองอย่าง ผมจึงมองว่าผลนี้เป็นหลักฐานว่าหลักการทำงานได้ ไม่ใช่การรับประกันผลลัพธ์

รายงานสิ่งที่ไม่ดีขึ้นด้วย มีงานบางส่วนที่ framework ไม่ได้ช่วย และบางงานใช้เวลามากขึ้นเพราะ agent ต้องทำ checklist ครบ นี่เป็น trade-off ที่ควรพูดตรง ๆ

ให้คนอื่นทำซ้ำได้ Kasidit เป็น open source (MIT) ใครอยากทดสอบเองก็ทำได้ ผมเชื่อว่าตัวเลขที่ทำซ้ำไม่ได้ไม่ควรมีน้ำหนักมาก

บทเรียนที่ใช้ได้แม้ไม่ใช้ Kasidit

ถ้าคุณไม่ได้อยากติดตั้ง framework ของใคร หลักการเหล่านี้ใช้ได้ทันที:

  • เขียน scope ให้ agent ทุกครั้ง พร้อมบอกว่าอะไรห้ามแตะ
  • ให้ agent reproduce ปัญหาก่อนแก้
  • บังคับรัน test ก่อนรับงาน ไม่เชื่อคำว่า "เสร็จแล้ว"
  • ขอให้ agent บอกว่าข้อสรุปไหนตรวจแล้ว ข้อไหนเดา

ทั้งหมดนี้คือแนวคิดเดียวกับที่ผมเขียนไว้ใน วินัยชนะ prompt ที่ใหญ่กว่า

สรุป

ส่วนต่างจาก 63% เป็น 75% ไม่ได้มาจาก model ที่เก่งขึ้นหรือ prompt ที่ฉลาดขึ้น แต่มาจากการบังคับให้ agent ทำสิ่งที่วิศวกรที่ดีทำอยู่แล้ว คือกำหนด scope ตรวจตาม checklist และแยกให้ออกว่าอะไรรู้จริงอะไรเดา ส่วนการอ่าน benchmark ให้ดูเงื่อนไขการเปรียบเทียบ ดูส่วนต่าง และจำไว้เสมอว่า benchmark คือหลักฐาน ไม่ใช่คำสัญญา ใครสนใจลองใช้ดูได้ที่ https://kasi.kasion.dev

มีคำถามหรืออยากแลกเปลี่ยน?

ฝากข้อความไว้ที่ guestbook หรือทักมาทาง X ได้เลยครับ