โมเดลภาษาไม่เพียงแต่ทำผิดพลาด แต่พวกมันสร้างความเป็นจริงที่ปลอมแปลงด้วยความมั่นใจอย่างสมบูรณ์ เอเจนต์ AI อาจอ้างว่าสร้างบันทึกฐานข้อมูลที่ไม่มีอยู่จริง หรือยืนยันว่าทำการกระทำที่ไม่เคยพยายามทำ สำหรับทีมที่นำระบบเหล่านี้ไปใช้ในการผลิต ความแตกต่างนั้นกำหนดวิธีแก้ไขปัญหา
Dmytro Kyiashko เชี่ยวชาญด้านการทดสอบระบบ AI งานของเขามุ่งเน้นไปที่คำถามเดียว: คุณจะตรวจจับได้อย่างเป็นระบบเมื่อโมเดลโกหก?
ปัญหาของการทดสอบเรื่องไร้สาระที่มั่นใจ
ซอฟต์แวร์แบบดั้งเดิมล้มเหลวอย่างคาดการณ์ได้ ฟังก์ชันที่เสียจะส่งกลับข้อผิดพลาด API ที่กำหนดค่าผิดจะให้สัญญาณความล้มเหลวแบบกำหนดได้ ซึ่งโดยทั่วไปเป็นรหัสสถานะ HTTP มาตรฐานและข้อความแสดงข้อผิดพลาดที่อ่านได้ซึ่งอธิบายว่าเกิดอะไรขึ้น
โมเดลภาษาเสียแตกต่างออกไป พวกมันจะรายงานว่าทำงานที่ไม่เคยเริ่มสำเร็จ ดึงข้อมูลจากฐานข้อมูลที่ไม่เคยสอบถาม และอธิบายการกระทำที่มีอยู่เฉพาะในข้อมูลการฝึกของพวกมัน การตอบสนองดูถูกต้อง แต่เนื้อหาเป็นของปลอม
"เอเจนต์ AI ทุกตัวทำงานตามคำแนะนำที่วิศวกรเตรียมไว้" Kyiashko อธิบาย "เรารู้ชัดเจนว่าเอเจนต์ของเราทำอะไรได้และไม่ได้" ความรู้นั้นกลายเป็นรากฐานสำหรับการแยกแยะภาพหลอนจากข้อผิดพลาด
หากเอเจนต์ที่ได้รับการฝึกให้สอบถามฐานข้อมูลล้มเหลวอย่างเงียบ ๆ นั่นคือบั๊ก แต่ถ้ามันส่งคืนผลลัพธ์การสอบถามโดยละเอียดโดยไม่ต้องแตะฐานข้อมูล? นั่นคือภาพหลอน โมเดลประดิษฐ์ผลลัพธ์ที่เป็นไปได้จากรูปแบบการฝึก
การตรวจสอบเทียบกับความจริง
แนวทางของ Kyiashko มุ่งเน้นไปที่การตรวจสอบเทียบกับสถานะระบบจริง เมื่อเอเจนต์อ้างว่าสร้างบันทึก การทดสอบของเขาจะตรวจสอบว่าบันทึกเหล่านั้นมีอยู่หรือไม่ การตอบสนองของเอเจนต์ไม่สำคัญหากระบบขัดแย้งกับมัน
"โดยปกติฉันใช้การทดสอบเชิงลบหลายประเภท ทั้งหน่วยและการบูรณาการ เพื่อตรวจสอบภาพหลอนของ LLM" เขาสังเกต การทดสอบเหล่านี้จงใจร้องขอการกระทำที่เอเจนต์ไม่มีสิทธิ์ดำเนินการ จากนั้นจึงตรวจสอบว่าเอเจนต์ไม่ยืนยันความสำเร็จอย่างเท็จและสถานะระบบยังคงไม่เปลี่ยนแปลง
เทคนิคหนึ่งทดสอบเทียบกับข้อจำกัดที่ทราบ เอเจนต์ที่ไม่มีสิทธิ์เขียนฐานข้อมูลได้รับการกระตุ้นให้สร้างบันทึก การทดสอบจะตรวจสอบว่าไม่มีข้อมูลที่ไม่ได้รับอนุญาตปรากฏขึ้นและการตอบสนองไม่ได้อ้างว่าสำเร็จ
วิธีที่มีประสิทธิภาพสูงสุดใช้ข้อมูลการผลิต "ฉันใช้ประวัติการสนทนาของลูกค้า แปลงทุกอย่างเป็นรูปแบบ JSON และรันการทดสอบของฉันโดยใช้ไฟล์ JSON นี้" การสนทนาแต่ละครั้งกลายเป็นกรณีทดสอบที่วิเคราะห์ว่าเอเจนต์สร้างข้อกล่าวอ้างที่ขัดแย้งกับบันทึกระบบหรือไม่
สิ่งนี้จับรูปแบบที่การทดสอบสังเคราะห์พลาด ผู้ใช้จริงสร้างเงื่อนไขที่เปิดเผยกรณีขอบ บันทึกการผลิตเผยให้เห็นว่าโมเดลมีภาพหลอนภายใต้การใช้งานจริง
กลยุทธ์การประเมินสองแบบ
Kyiashko ใช้แนวทางเสริมสองแบบในการประเมินระบบ AI
ตัวประเมินตามโค้ดจัดการกับการตรวจสอบเชิงวัตถุประสงค์ "ตัวประเมินตามโค้ดเหมาะสมเมื่อคำจำกัดความของความล้มเหลวเป็นเชิงวัตถุประสงค์และสามารถตรวจสอบได้ด้วยกฎ ตัวอย่างเช่น: การแยกวิเคราะห์โครงสร้าง การตรวจสอบความถูกต้องของ JSON หรือไวยากรณ์ SQL" เขาอธิบาย
แต่ความล้มเหลวบางอย่างต่อต้านการจำแนกแบบไบนารี น้ำเสียงเหมาะสมหรือไม่? สรุปซื่อสัตย์หรือไม่? การตอบสนองเป็นประโยชน์หรือไม่? "ตัวประเมิน LLM-as-Judge ใช้เมื่อโหมดความล้มเหลวเกี่ยวข้องกับการตีความหรือความแตกต่างเล็กน้อยที่โค้ดไม่สามารถจับได้"
สำหรับแนวทาง LLM-as-Judge, Kyiashko อาศัย LangGraph แนวทางใดแนวทางหนึ่งทำงานคนเดียวไม่ได้ กรอบที่มีประสิทธิภาพใช้ทั้งสองอย่าง
สิ่งที่การฝึกอบรม QA แบบคลาสสิกพลาด
วิศวกรคุณภาพที่มีประสบการณ์ประสบปัญหาเมื่อพวกเขาทดสอบระบบ AI ครั้งแรก ข้อสันนิษฐานที่ทำให้พวกเขามีประสิทธิภาพไม่สามารถถ่ายทอดได้
"ใน QA แบบคลาสสิก เรารู้รูปแบบการตอบสนองของระบบอย่างแน่นอน เรารู้รูปแบบของข้อมูลอินพุตและเอาต์พุตอย่างแน่นอน" Kyiashko อธิบาย "ในการทดสอบระบบ AI ไม่มีสิ่งนั้น" ข้อมูลอินพุตคือพรอมต์ และรูปแบบในการที่ลูกค้าใช้คำขอนั้นไม่มีที่สิ้นสุด
สิ่งนี้ต้องการการตรวจสอบอย่างต่อเนื่อง Kyiashko เรียกมันว่า "การวิเคราะห์ข้อผิดพลาดอย่างต่อเนื่อง" การตรวจสอบอย่างสม่ำเสมอว่าเอเจนต์ตอบสนองต่อผู้ใช้จริงอย่างไร การระบุว่าพวกมันสร้างข้อมูลที่ไหน และการอัปเดตชุดทดสอบตามนั้น
ความท้าทายทวีคูณด้วยปริมาณคำแนะนำ ระบบ AI ต้องการพรอมต์ที่กว้างขวางในการกำหนดพฤติกรรมและข้อจำกัด คำแนะนำแต่ละคำสามารถโต้ตอบกับคำอื่น ๆ อย่างคาดไม่ถึง "หนึ่งในปัญหาของระบบ AI คือจำนวนคำแนะนำจำนวนมากที่ต้องได้รับการอัปเดตและทดสอบอย่างต่อเนื่อง" เขาสังเกต
ช่องว่างความรู้มีนัยสำคัญ วิศวกรส่วนใหญ่ขาดความเข้าใจที่ชัดเจนเกี่ยวกับเมตริกที่เหมาะสม การเตรียมชุดข้อมูลที่มีประสิทธิภาพ หรือวิธีการที่เชื่อถือได้สำหรับการตรวจสอบผลลัพธ์ที่เปลี่ยนแปลงในแต่ละรัน "การทำเอเจนต์ AI ไม่ใช่เรื่องยาก" Kyiashko สังเกต "การทำให้การทดสอบเอเจนต์นั้นเป็นอัตโนมัติคือความท้าทายหลัก จากการสังเกตและประสบการณ์ของฉัน เวลาถูกใช้ในการทดสอบและการเพิ่มประสิทธิภาพระบบ AI มากกว่าการสร้างพวกมัน"
การเปิดตัวรายสัปดาห์ที่เชื่อถือได้
ภาพหลอนกัดกร่อนความไว้วางใจเร็วกว่าบั๊ก ฟีเจอร์ที่เสียทำให้ผู้ใช้ผิดหวัง เอเจนต์ที่มั่นใจให้ข้อมูลเท็จทำลายความน่าเชื่อถือ
วิธีการทดสอบของ Kyiashko ช่วยให้การเปิดตัวรายสัปดาห์ที่เชื่อถือได้ การตรวจสอบอัตโนมัติจับการถดถอยก่อนการปรับใช้ ระบบที่ได้รับการฝึกและทดสอบด้วยข้อมูลจริงจัดการคำขอของลูกค้าส่วนใหญ่อย่างถูกต้อง
การทำซ้ำรายสัปดาห์ขับเคลื่อนความได้เปรียบในการแข่งขัน ระบบ AI ปรับปรุงผ่านการเพิ่มความสามารถ การปรับแต่งการตอบสนอง การขยายโดเมน
ทำไมสิ่งนี้จึงสำคัญสำหรับวิศวกรรมคุณภาพ
บริษัทที่บูรณาการ AI เติบโตทุกวัน "โลกได้เห็นประโยชน์ของการใช้ AI แล้ว ดังนั้นจึงไม่มีการถอยกลับ" Kyiashko โต้แย้ง การนำ AI ไปใช้เร่งขึ้นในอุตสาหกรรมต่าง ๆ สตาร์ทอัพเปิดตัวมากขึ้น องค์กรเพิ่มขึ้นบูรณาการความฉลาดในผลิตภัณฑ์หลัก
หากวิศวกรสร้างระบบ AI พวกเขาต้องเข้าใจวิธีทดสอบพวกมัน "แม้แต่ทุกวันนี้ เราต้องเข้าใจว่า LLM ทำงานอย่างไร เอเจนต์ AI ถูกสร้างอย่างไร เอเจนต์เหล่านี้ถูกทดสอบอย่างไร และวิธีทำให้การตรวจสอบเหล่านี้เป็นอัตโนมัติ"
วิศวกรรมพรอมต์กำลังกลายเป็นข้อบังคับสำหรับวิศวกรคุณภาพ การทดสอบข้อมูลและการตรวจสอบข้อมูลแบบไดนามิกเดินตามวิถีเดียวกัน "สิ่งเหล่านี้ควรเป็นทักษะพื้นฐานของวิศวกรทดสอบแล้ว"
รูปแบบที่ Kyiashko เห็นในอุตสาหกรรมยืนยันการเปลี่ยนแปลงนี้ ผ่านงานของเขาในการตรวจสอบเอกสารทางเทคนิคเกี่ยวกับการประเมิน AI และการประเมินสถาปัตยกรรมสตาร์ทอัพในฟอรัมทางเทคนิค ปัญหาเดียวกันปรากฏซ้ำ ๆ: ทีมทุกที่เผชิญปัญหาเหมือนกัน ความท้าทายในการตรวจสอบที่เขาแก้ไขในการผลิตหลายปีก่อนกำลังกลายเป็นความกังวลทั่วโลกเมื่อการปรับใช้ AI ขยายตัว
โครงสร้างพื้นฐานการทดสอบที่ปรับขนาดได้
วิธีการของ Kyiashko กล่าวถึงหลักการประเมิน การประเมินการสนทนาหลายรอบ และเมตริกสำหรับโหมดความล้มเหลวที่แตกต่างกัน
แนวคิดหลัก: การทดสอบที่หลากหลาย การตรวจสอบระดับโค้ดจับข้อผิดพลาดโครงสร้าง การประเมิน LLM-as-Judge ช่วยให้สามารถประเมินประสิทธิภาพและความแม่นยำของระบบ AI ขึ้นอยู่กับเวอร์ชัน LLM ที่ใช้ การวิเคราะห์ข้อผิดพลาดด้วยตนเองระบุรูปแบบ การทดสอบ RAG ตรวจสอบว่าเอเจนต์ใช้บริบทที่ให้ไว้แทนที่จะประดิษฐ์รายละเอียด
"กรอบที่ฉันอธิบายอิงตามแนวคิดของแนวทางที่หลากหลายในการทดสอบระบบ AI เราใช้การครอบคลุมระดับโค้ด ตัวประเมิน LLM-as-Judge การวิเคราะห์ข้อผิดพลาดด้วยตนเอง และการประเมิน Retrieval-Augmented Generation" วิธีการตรวจสอบหลายวิธีที่ทำงานร่วมกันจับภาพหลอนประเภทต่าง ๆ ที่แนวทางเดียวพลาด
สิ่งที่จะเกิดขึ้นต่อไป
สนามกำหนดแนวปฏิบัติที่ดีที่สุดแบบเรียลไทม์ผ่านความล้มเหลวในการผลิตและการปรับแต่งแบบซ้ำ บริษัทเพิ่มขึ้นปรับใช้ AI เชิงสร้างสรรค์ โมเดลเพิ่มขึ้นตัดสินใจอัตโนมัติ ระบบมีความสามารถมากขึ้น ซึ่งหมายความว่าภาพหลอนเป็นไปได้มากขึ้น
แต่การทดสอบอย่างเป็นระบบจับการสร้างปลอมก่อนที่ผู้ใช้พบ การทดสอบภาพหลอนไม่ได้เกี่ยวกับความสมบูรณ์แบบ โมเดลจะมีกรณีขอบที่พวกมันสร้างปลอมเสมอ มันเกี่ยวกับการจับการสร้างปลอมอย่างเป็นระบบและป้องกันไม่ให้พวกมันไปถึงการผลิต
เทคนิคทำงานเมื่อนำไปใช้อย่างถูกต้อง สิ่งที่ขาดหายไปคือความเข้าใจอย่างแพร่หลายเกี่ยวกับวิธีการนำไปใช้ในสภาพแวดล้อมการผลิตที่ความน่าเชื่อถือสำคัญ
Dmytro Kyiashko เป็น Software Developer in Test ที่เชี่ยวชาญด้านการทดสอบระบบ AI ด้วยประสบการณ์ในการสร้างกรอบการทดสอบสำหรับ AI การสนทนาและเอเจนต์อัตโนมัติ งานของเขาตรวจสอบความน่าเชื่อถือและความท้าทายในการตรวจสอบในระบบ AI แบบหลายรูปแบบ
