ปีนี้ทีมของผมต้องรับมือกับ security incident ครั้งหนึ่ง ผมจะไม่เล่ารายละเอียดว่าเกิดอะไรขึ้น แต่อยากแชร์บทเรียนที่ได้ในฐานะคนที่ต้องนำทีมเล็กผ่านช่วงหลังเหตุการณ์ เพราะทีมเล็กมีข้อจำกัดเฉพาะ คือไม่มีทีม security แยก ไม่มีคนว่าง และทุกคนยังต้องดูแลระบบให้ใช้งานได้ตามปกติไปพร้อมกัน
หลังดับไฟ งานจริงเพิ่งเริ่ม
ช่วงแรกของ incident คือการจำกัดความเสียหาย หยุดสิ่งที่กำลังเกิด และทำให้ระบบกลับมาใช้งานได้ หลายทีมหยุดแค่ตรงนั้น แต่บทเรียนสำคัญที่สุดที่ผมได้คือ การจำกัดความเสียหายเองก็สร้างผลข้างเคียงได้ เช่น การปิด credential หรือเพิ่ม policy แบบเร่งด่วน อาจทำให้ฟีเจอร์ที่ไม่เกี่ยวข้องพังเงียบ ๆ ไปหลายวันโดยไม่มีใครรู้
ดังนั้นทุกการเปลี่ยนแปลงระหว่างดับไฟ ต้องจดไว้: ทำอะไร เมื่อไร กับระบบไหน รายการนี้คือสิ่งแรกที่ต้องดูเมื่อมีอะไรแปลก ๆ เกิดขึ้นในสัปดาห์ถัดมา
1. Rotate secret ทั้งหมดที่อาจเกี่ยวข้อง
หลักคือ ถ้าไม่แน่ใจว่า secret ตัวไหนรั่ว ให้ถือว่ารั่วทั้งหมดที่เข้าถึงได้จากจุดเดียวกัน
checklist ที่ผมใช้:
- ทำรายการ secret ทั้งหมด: database password, API key, token ของบริการภายนอก, SSH key, key สำหรับเข้ารหัส
- ระบุว่า secret แต่ละตัวถูกใช้ที่ไหนบ้าง ส่วนนี้มักยากที่สุด เพราะ secret เดียวถูก copy ไปหลายที่
- rotate ทีละตัว พร้อมทดสอบระบบที่ใช้ทันที
- ปิด secret เก่าหลังยืนยันว่าไม่มีใครใช้แล้วเท่านั้น
- ค้นหา secret ที่ hardcode ในโค้ดและย้ายออกไปไว้ใน environment หรือ secrets manager
ตัวอย่างการค้นหาเบื้องต้นใน repository:
# Find likely hardcoded secrets (review results manually)
git grep -nE "(api[_-]?key|secret|password|token)\s*[:=]\s*['\"][^'\"]{8,}" -- . ':!*.lock'
# Check whether secrets ever existed in history, not only in the current tree
git log -p -S "BEGIN RSA PRIVATE KEY" --all | head
คำสั่งแบบนี้หาได้ไม่ครบ แต่เป็นจุดเริ่มต้นที่ดี และอย่าลืมว่า secret ที่เคยอยู่ใน git history ถือว่ารั่วแล้ว แม้จะลบออกจาก branch ปัจจุบันไปแล้วก็ตาม
2. Least privilege ไม่ใช่ทางเลือกอีกต่อไป
สิ่งที่ทำให้ความเสียหายใหญ่หรือเล็ก มักไม่ใช่ช่องโหว่ แต่คือ "สิทธิ์ที่ติดมากับช่องโหว่" ถ้า credential ที่รั่วมีสิทธิ์ทำทุกอย่าง ความเสียหายก็เป็นได้ทุกอย่าง
สิ่งที่ผมทำหลังจากนั้น:
- แยก credential ต่อระบบ แต่ละแอปมี credential ของตัวเอง สิทธิ์เฉพาะสิ่งที่ต้องใช้
- ไม่ใช้บัญชีระดับสูงสุดในการทำงานประจำวัน บัญชีที่มีสิทธิ์ทุกอย่างเก็บไว้ใช้เฉพาะกรณีจำเป็นจริง
- บัญชีต่อคน ไม่ใช่บัญชีรวม เมื่อทุกคนใช้บัญชีเดียวกัน เราไม่มีทางรู้ว่าใครทำอะไร ผมย้ายการเข้า server ไปไว้หลัง VPN และให้วิศวกรแต่ละคนมีบัญชีของตัวเอง ซึ่งเล่าไว้ใน SSH ผ่าน VPN สำหรับทีมเล็ก
- ข้อมูลส่วนบุคคลต้องเข้ารหัส แม้ฐานข้อมูลรั่ว ข้อมูลที่อ่านได้ก็ควรน้อยที่สุด
3. Audit ทีละ repo ไม่ใช่ทีเดียวทั้งหมด
ทีมเล็กไม่มีแรงพอจะ audit ทุกระบบพร้อมกัน และถ้าพยายามทำ งานจะค้างครึ่งทางทุกระบบ วิธีที่ได้ผลกับผมคือ:
- จัดลำดับ repo ตามความเสี่ยง: เปิดสู่ internet ไหม เก็บข้อมูลอะไร มีผู้ใช้กี่คน
- audit ทีละ repo ด้วย checklist เดียวกันทุกครั้ง: การยืนยันตัวตน การตรวจสิทธิ์ต่อ endpoint การรับไฟล์ secret ในโค้ด และ endpoint ที่ไม่มีใครใช้แล้ว
- แก้และ deploy repo นั้นให้จบก่อนไป repo ถัดไป
- บันทึกผลเป็นเอกสารที่ทีมอ่านได้ เพื่อให้รอบถัดไปเร็วขึ้น
AI ช่วยได้มากในขั้นนี้ โดยเฉพาะการไล่หา endpoint และ pattern ที่น่าสงสัย แต่ทุกข้อสรุปต้องยืนยันด้วยการทดสอบจริงก่อนถือว่าเป็นปัญหา
4. การสื่อสาร
ส่วนที่ผมประเมินต่ำที่สุดก่อนเจอเหตุการณ์จริง คือการสื่อสาร
- ภายในทีม มีช่องทางเดียวสำหรับเรื่องนี้ มีคนเดียวที่สรุปสถานะ และบอกชัดว่าใครทำอะไร ทีมที่ทำงานหลายภาษาอย่างทีมผม ยิ่งต้องเขียนสั้นและชัด
- กับผู้บริหาร บอกสิ่งที่รู้ สิ่งที่ยังไม่รู้ และสิ่งที่กำลังทำ แยกให้ชัดว่าอะไรยืนยันแล้ว อะไรยังเป็นสมมติฐาน
- กับผู้ใช้ ถ้าต้องมีการเปลี่ยนแปลงที่กระทบเขา เช่น ต้อง login ใหม่หรืออัปเดตแอป แจ้งล่วงหน้าพร้อมเหตุผลที่เข้าใจง่าย
- ไม่โทษคน เป้าหมายคือแก้ระบบให้ปัญหาเกิดซ้ำยากขึ้น ไม่ใช่หาคนผิด ถ้าทีมกลัวถูกโทษ ครั้งหน้าจะไม่มีใครรายงานสิ่งผิดปกติเร็ว
5. ทำให้บทเรียนไม่หายไป
หลังทุกอย่างเรียบร้อย เขียน post-incident review สั้น ๆ: ไทม์ไลน์ สิ่งที่ได้ผล สิ่งที่ไม่ได้ผล และงานที่ต้องทำต่อพร้อมเจ้าของ แล้วเปลี่ยนสิ่งที่เรียนรู้เป็น checklist ใน deploy และ code review เพื่อให้มันกลายเป็นนิสัย ไม่ใช่ความทรงจำ
สรุป
หลัง security incident ทีมเล็กควรทำห้าอย่าง: จดทุกการเปลี่ยนแปลงระหว่างดับไฟ, rotate secret ทั้งหมดที่อาจเกี่ยวข้อง, ใช้ least privilege กับบัญชีต่อคน, audit ทีละ repo ด้วย checklist เดียวกัน และสื่อสารอย่างชัดเจนโดยไม่โทษคน ไม่มีทีมไหนอยากเจอ incident แต่ถ้าเจอแล้ว อย่าให้มันผ่านไปโดยไม่ทำให้ระบบแข็งแรงขึ้น