ทำไม "ความแม่นยำ" ไม่เหมาะกับโมเดล Uplift (และควรใช้อะไรแทน)

เมื่อพูดถึง uplift modeling เมตริกประสิทธิภาพแบบดั้งเดิมที่ใช้กันทั่วไปสำหรับงาน machine learning อื่นๆ อาจไม่เพียงพอ

อัลกอริทึม machine learning มาตรฐาน / กรณีศึกษาทางธุรกิจ จะเรียนรู้จากข้อมูลการฝึกอบรม ทำนายเป้าหมายจากข้อมูลทดสอบ และเปรียบเทียบกับข้อเท็จจริงพื้นฐาน

อย่างไรก็ตาม ใน uplift modeling แนวคิดของข้อเท็จจริงพื้นฐานกลายเป็นสิ่งที่เข้าใจยาก เนื่องจากเราไม่สามารถสังเกตผลกระทบของการได้รับการปฏิบัติและไม่ได้รับการปฏิบัติต่อบุคคลเดียวกันในเวลาเดียวกัน

จะเลือกชุดข้อมูลการตรวจสอบความถูกต้องได้อย่างไร?

การเลือกข้อมูลสำหรับการฝึกอบรมและทดสอบโมเดล uplift ขึ้นอยู่กับข้อมูลที่มีอยู่และบริบทเฉพาะ

โมเดล uplift มักใช้สำหรับแคมเปญการตลาด มาดูตัวอย่างว่าข้อมูลการตรวจสอบความถูกต้องถูกเลือกจากมุมมองนี้อย่างไร

หากเรามีแคมเปญเดียว เราสามารถแบ่งลูกค้าภายในแคมเปญนั้นออกเป็นชุดการฝึกอบรมและชุดการตรวจสอบความถูกต้อง

อย่างไรก็ตาม หากมีหลายแคมเปญที่พร้อมใช้งาน เราสามารถใช้แคมเปญบางส่วนสำหรับการฝึกอบรมโมเดล และสำรองแคมเปญอื่นๆ สำหรับการตรวจสอบความถูกต้อง กลยุทธ์นี้ช่วยให้โมเดลเรียนรู้จากสถานการณ์ที่หลากหลายมากขึ้น และอาจปรับปรุงความสามารถในการสรุปทั่วไปได้

หากไม่มีองค์ประกอบที่สำคัญเหล่านี้ การจับภาพ uplift อย่างแม่นยำจะกลายเป็นเรื่องที่ท้าทาย

แนวทางหลัก

มีสองวิธีหลักในการประเมินประสิทธิภาพของโมเดล uplift: Cumulative Gain และ Qini มาสำรวจกันเถอะ:

Cumulative Gain :

Cumulative gain แสดงให้เห็นอัตราการตอบสนองที่เพิ่มขึ้นหรือผลลัพธ์ที่ได้รับจากการกำหนดเป้าหมายเปอร์เซ็นต์เฉพาะของประชากร

ในการคำนวณ cumulative gain บุคคลจะถูกจัดอันดับตามคะแนน uplift และรายการที่จัดเรียงแล้วจะถูกแบ่งออกเป็นกลุ่มเดไซล์หรือกลุ่มเปอร์เซ็นไทล์ที่มีขนาดเท่ากัน จากนั้น cumulative gain จะถูกคำนวณโดยรวมผลลัพธ์หรือการตอบสนองของบุคคลภายในแต่ละกลุ่ม

N : จำนวนลูกค้าสำหรับกลุ่มควบคุม (C) และกลุ่มทดลอง (T) สำหรับ p% แรกของลูกค้า

Y : ผลรวมของ uplift ของเราในเมตริกที่เราเลือกสำหรับกลุ่มควบคุม (C) และกลุ่มทดลอง (T) สำหรับ p% แรกของลูกค้า

ตัวอย่างเช่น CG ที่ 20% ของประชากรที่กำหนดเป้าหมาย สอดคล้องกับผลตอบแทนที่เพิ่มขึ้นทั้งหมด หากเราปฏิบัติเฉพาะกรณีที่มี 20% แรกของ คะแนนสูงสุด

ในตัวอย่างที่ให้ไว้ด้านล่าง เราสังเกตว่าการกำหนดเป้าหมายลูกค้า 20% แรกที่มีคะแนนสูงสุดให้ผลตอบแทนสะสมที่ 0.019

เส้นโค้งที่สูงชันกว่าบ่งชี้ว่าเป็นโมเดลที่ดีกว่า เนื่องจากแสดงให้เห็นว่ามีสัดส่วนที่สูงขึ้นของบุคคลที่มี uplift ที่คาดการณ์ไว้สูงสุดกำลังถูกกำหนดเป้าหมาย

Qini Coefficient:

ค่าสัมประสิทธิ์ Qini ทำงานบนแนวคิดเดียวกับ Cumulative Gain โดยมีความแตกต่างที่สำคัญประการหนึ่ง

สูตรในการคำนวณ:

---

นั่นเยี่ยมมาก แต่เราจะเลือกระหว่างโมเดลต่างๆ ได้อย่างไร? การพึ่งพาเฉพาะเส้นโค้งเหล่านี้เพื่อเลือกระหว่างโมเดลต่างๆ อาจไม่ใช่แนวทางที่ขับเคลื่อนด้วยข้อมูลมากที่สุด

เมตริกคุณภาพ

มีเมตริกที่มีประโยชน์ที่สุดสามตัวที่สามารถช่วยเรา และทั้งหมดนี้ สามารถใช้ได้กับทั้งแนวทาง Qini และ Cumulative Gain

Area under Uplift (AUC-U):

คล้ายกับพื้นที่ใต้เส้นโค้ง ROC (AUC-ROC) ในการจำแนกประเภทแบบดั้งเดิม AUC-U วัดประสิทธิภาพโดยรวมของโมเดล uplift มันคำนวณพื้นที่ใต้เส้นโค้ง uplift / Qini ซึ่งแสดงถึง uplift สะสมตามบุคคลที่จัดเรียงตามการคาดการณ์ของโมเดล uplift

Uplift@K:

Uplift@K มุ่งเน้นไปที่การระบุ K% แรกของประชากรที่มี uplift ที่คาดการณ์ไว้สูงสุด มันวัดสัดส่วนของบุคคลที่ตอบสนองอย่างแท้จริงภายในกลุ่มที่เลือกนี้ ค่า uplift@K ที่สูงขึ้นบ่งชี้ว่าโมเดลดีกว่าในการกำหนดเป้าหมายบุคคลที่ถูกต้อง

ในตัวอย่างด้านล่าง Uplift@0.2 สำหรับโมเดลแรกอยู่ที่ประมาณ 0.16 และสำหรับโมเดลที่สองคือ 0.19 และการเลือกโมเดลที่ดีที่สุดนั้นชัดเจน

เมตริกนี้สามารถช่วยได้เมื่อใด?

Uplift max:

Uplift max หมายถึง uplift สูงสุดที่โมเดลบรรลุผล มันแสดงถึงความแตกต่างระหว่างกลุ่มทดลองและกลุ่มควบคุมที่มีคะแนน uplift สูงสุด

สรุป

เราได้เห็นแล้วว่าเมตริกการจำแนกประเภทและการถดถอยแบบดั้งเดิมอาจไม่วัดประสิทธิผลของโมเดล uplift ได้อย่างเพียงพอ

เพื่อเอาชนะสิ่งนี้ สองแนวทางหลัก CG และ Qini นำเสนอเมตริกที่มีค่าสำหรับการประเมินผล

เป็นสิ่งสำคัญที่จะต้องทดลองกับรูปแบบต่างๆ อย่างต่อเนื่อง และค้นหาเมตริกที่สอดคล้องกับวัตถุประสงค์ของคุณมากที่สุด ด้วยการสำรวจและปรับปรุงแนวทางของคุณ คุณสามารถวัดผลกระทบของโมเดล uplift ได้อย่างมีประสิทธิภาพและเพิ่มประสิทธิภาพของมัน

\n

\