Tether เปิดตัวเฟรมเวิร์ก BitNet LoRA ข้ามแพลตฟอร์ม ช่วยให้สามารถปรับแต่งโมเดลที่มีพารามิเตอร์หลายพันล้านบนอุปกรณ์ระดับผู้บริโภคได้

PANews รายงานเมื่อวันที่ 21 มีนาคมว่า Tether ประกาศเปิดตัวเฟรมเวิร์กการปรับแต่ง BitNet LoRA แบบข้ามแพลตฟอร์มใน QVAC Fabric ซึ่งช่วยเพิ่มประสิทธิภาพในการฝึกอบรมและการอนุมานของ Microsoft BitNet (1-bit LLM) เฟรมเวิร์กนี้ช่วยลดความต้องการกำลังการประมวลผลและหน่วยความจำอย่างมาก ทำให้โมเดลที่มีพารามิเตอร์หลายพันล้านสามารถฝึกอบรมและปรับแต่งได้บนแล็ปท็อป GPU ระดับผู้บริโภค และสมาร์ทโฟน

โซลูชันนี้เป็นครั้งแรกที่ช่วยให้สามารถปรับแต่งโมเดล BitNet บน GPU มือถือได้ (รวมถึง Adreno, Mali และ Apple Bionic) การทดสอบแสดงให้เห็นว่าโมเดลที่มีพารามิเตอร์ 125M สามารถปรับแต่งได้ในเวลาประมาณ 10 นาที โมเดล 1B ในเวลาประมาณ 1 ชั่วโมง และยังสามารถขยายไปถึงโมเดลที่มีพารามิเตอร์ 13B บนอุปกรณ์มือถือได้

นอกจากนี้ เฟรมเวิร์กยังรองรับฮาร์ดแวร์ที่หลากหลายเช่น Intel, AMD และ Apple Silicon และเป็นครั้งแรกที่บรรลุการปรับแต่ง 1-bit LLM LoRA บนอุปกรณ์ที่ไม่ใช่ NVIDIA ในด้านประสิทธิภาพ โมเดล BitNet มีความเร็วในการอนุมานที่เร็วกว่า 2 ถึง 11 เท่าบน GPU มือถือเมื่อเทียบกับ CPU พร้อมทั้งลดการใช้หน่วยความจำได้มากถึงประมาณ 77.8% เมื่อเปรียบเทียบกับโมเดล 16-bit แบบดั้งเดิม

Tether ระบุว่าเทคโนโลยีนี้มีศักยภาพในการทำลายการพึ่งพากำลังการประมวลผลระดับไฮเอนด์และโครงสร้างพื้นฐานคลาวด์ ส่งเสริมการพัฒนาการฝึกอบรม AI ไปสู่ความเป็นกระจายอำนาจและการแปลเป็นท้องถิ่น และเป็นรากฐานสำหรับสถานการณ์การใช้งานใหม่ ๆ เช่น การเรียนรู้แบบสหพันธ์