Tether lanza el framework cross-platform BitNet LoRA, permitiendo el ajuste fino de modelos de miles de millones de parámetros en dispositivos de grado consumidor.

PANews informó el 21 de marzo que Tether anunció el lanzamiento de un marco de ajuste fino LoRA de BitNet multiplataforma en QVAC Fabric, que permite optimizaciones para el entrenamiento e inferencia de Microsoft BitNet (1-bit LLM). Este marco reduce significativamente los requisitos de potencia de computación y memoria, permitiendo que modelos de miles de millones de parámetros sean entrenados y ajustados finamente en laptops, GPUs de grado de consumidor y smartphones.

Esta solución es la primera en permitir el ajuste fino del modelo BitNet en GPUs móviles (incluyendo Adreno, Mali y Apple Bionic). Las pruebas muestran que un modelo de 125M parámetros puede ajustarse finamente en aproximadamente 10 minutos, un modelo de 1B en aproximadamente 1 hora, e incluso puede extenderse a un modelo de 13B parámetros en dispositivos móviles.

Además, el marco soporta hardware heterogéneo como Intel, AMD y Apple Silicon, y por primera vez logra el ajuste fino LoRA de 1-bit LLM en dispositivos no NVIDIA. En términos de rendimiento, el modelo BitNet alcanza velocidades de inferencia de 2 a 11 veces más rápidas en GPUs móviles que en CPUs, mientras reduce el uso de memoria hasta aproximadamente un 77,8% en comparación con los modelos tradicionales de 16 bits.

Tether declaró que esta tecnología tiene el potencial de romper la dependencia de la potencia de computación de alto nivel y la infraestructura en la nube, promover el desarrollo del entrenamiento de IA hacia la descentralización y localización, y proporcionar una base para nuevos escenarios de aplicación como el aprendizaje federado.