تدر فریم‌ورک BitNet LoRA چند پلتفرمی را منتشر کرد که امکان تنظیم دقیق مدل‌های میلیاردپارامتری را بر روی دستگاه‌های مصرف‌کننده فراهم می‌کند.

PANews در ۲۱ مارس گزارش داد که Tether انتشار یک فریم‌ورک تنظیم دقیق BitNet LoRA چند پلتفرمی را در QVAC Fabric اعلام کرد که بهینه‌سازی‌هایی را برای آموزش و استنتاج Microsoft BitNet (1-bit LLM) امکان‌پذیر می‌سازد. این فریم‌ورک به طور قابل توجهی نیازهای قدرت محاسباتی و حافظه را کاهش می‌دهد و امکان آموزش و تنظیم دقیق مدل‌های با پارامترهای میلیاردی را بر روی لپ‌تاپ‌ها، GPUهای مصرف‌کننده و گوشی‌های هوشمند فراهم می‌کند.

این راه‌حل اولین راه‌حلی است که تنظیم دقیق مدل BitNet را بر روی GPUهای موبایل (شامل Adreno، Mali و Apple Bionic) امکان‌پذیر می‌سازد. آزمایش‌ها نشان می‌دهد که یک مدل با پارامتر 125M می‌تواند در حدود 10 دقیقه تنظیم دقیق شود، یک مدل 1B در حدود 1 ساعت، و حتی می‌تواند به یک مدل با پارامتر 13B بر روی دستگاه‌های موبایل گسترش یابد.

علاوه بر این، این فریم‌ورک از سخت‌افزارهای ناهمگون مانند Intel، AMD و Apple Silicon پشتیبانی می‌کند و برای اولین بار تنظیم دقیق 1-bit LLM LoRA را بر روی دستگاه‌های غیر NVIDIA به دست می‌آورد. از نظر عملکرد، مدل BitNet سرعت استنتاج 2 تا 11 برابر سریع‌تر را بر روی GPUهای موبایل نسبت به CPUها به دست می‌آورد، در حالی که استفاده از حافظه را تا تقریباً 77.8% در مقایسه با مدل‌های سنتی 16 بیتی کاهش می‌دهد.

Tether اظهار داشت که این فناوری پتانسیل شکستن وابستگی به قدرت محاسباتی سطح بالا و زیرساخت رایانش ابری را دارد، توسعه آموزش مبتنی بر هوش مصنوعی را به سمت غیرمتمرکزسازی و محلی‌سازی ترویج می‌دهد و پایه‌ای برای سناریوهای کاربردی جدید مانند یادگیری فدرال فراهم می‌کند.