Tether Uruchamia Wieloplatformowy Framework BitNet LoRA Umożliwiający Trening I Wnioskowanie AI Z Miliardami Parametrów Na Urządzeniach Konsumenckich

Emitent stablecoina USDT, Tether, ogłosił uruchomienie tego, co opisuje jako pierwszy wieloplatformowy framework do precyzyjnego dostrajania LoRA zaprojektowany dla modeli Microsoft BitNet, które opierają się na 1-bitowej architekturze dużych modeli językowych. Funkcjonalność ta jest zintegrowana z systemem QVAC Fabric i według doniesień znacząco redukuje zarówno zużycie pamięci, jak i zapotrzebowanie obliczeniowe. Według firmy, ten rozwój umożliwia precyzyjne dostrajanie dużych modeli językowych, w tym tych z miliardami parametrów, przy użyciu powszechnie dostępnego sprzętu konsumenckiego, takiego jak laptopy, standardowe karty graficzne i nowoczesne smartfony.

Rozwój i utrzymanie systemów sztucznej inteligencji tradycyjnie wymagało sprzętu klasy korporacyjnej, w szczególności specjalistycznej infrastruktury NVIDIA lub środowisk chmurowych. Te wymagania przyczyniły się do wysokich kosztów operacyjnych, ograniczając dostęp do zaawansowanego rozwoju AI głównie do dużych organizacji dysponujących znacznymi zasobami finansowymi i dostępem do specjalistycznych systemów obliczeniowych.

Tether oświadczył, że jego duży model językowy QVAC Fabric, ulepszony przez nowo wprowadzony framework oparty na BitNet, rozwiązuje te ograniczenia poprzez wspieranie wieloplatformowego precyzyjnego dostrajania LoRA i przyspieszanie wnioskowania na różnorodnych konsumenckich procesorach graficznych. Obejmują one sprzęt od Intel, AMD i Apple Silicon, między innymi. W rezultacie użytkownicy są w stanie trenować i dostosowywać modele AI bezpośrednio na powszechnie dostępnych urządzeniach konsumenckich, zamiast polegać na scentralizowanej infrastrukturze.

Firma poinformowała, że jej zespół inżynieryjny po raz pierwszy z powodzeniem zademonstrował precyzyjne dostrajanie BitNet na mobilnych procesorach graficznych, w tym na platformach takich jak Adreno, Mali i Apple Bionic GPU. Wewnętrzne testy wykazały, że model BitNet z 125 milionami parametrów mógł zostać precyzyjnie dostrojony w około dziesięć minut na urządzeniu Samsung S25 wyposażonym w procesor graficzny Adreno, wykorzystując biomedyczny zbiór danych składający się z około 300 dokumentów, czyli około 18 000 tokenów. Dla modelu z 1 miliardem parametrów ten sam zbiór danych wymagał około godziny i osiemnastu minut na Samsung S25 oraz godziny i czterdziestu pięciu minut na iPhone 16. Firma poinformowała również, że była w stanie rozszerzyć testy do modeli tak dużych jak 13 miliardów parametrów na iPhone 16 w warunkach maksymalnej pojemności urządzenia.

Postępy w treningu AI opartym na urządzeniach brzegowych i optymalizacji wydajności

Dalsze ustalenia sugerują, że framework może wspierać precyzyjne dostrajanie modeli o rozmiarze do dwukrotnie większym niż porównywalne modele inne niż BitNet działające z kwantyzacją Q4 na urządzeniach brzegowych. Ten wynik przypisuje się zmniejszonemu zapotrzebowaniu na pamięć związanemu z architekturą BitNet.

Oprócz ulepszeń w treningu, framework demonstruje również zwiększoną wydajność wnioskowania. Testy przeprowadzone na urządzeniach mobilnych wykazały, że modele BitNet działają znacznie szybciej, gdy są wykonywane na procesorach graficznych, z prędkościami przetwarzania od dwóch do jedenastu razy wyższymi niż wykonanie oparte na CPU. Te wyniki wskazują, że mobilne procesory graficzne są coraz bardziej zdolne do obsługi obciążeń, które wcześniej wymagały specjalistycznego sprzętu lub zasobów na poziomie centrum danych.

System wykazuje również znaczące usprawnienia w efektywności pamięci. Dane porównawcze sugerują, że model BitNet-1B wykorzystujący konfigurację TQ1_0 wymaga do 77,8 procent mniej pamięci VRAM w porównaniu z 16-bitowym modelem Gemma-3-1B i 65,6 procent mniej niż 16-bitowy model Qwen3-0.6B podczas procesów wnioskowania i precyzyjnego dostrajania LoRA. Te redukcje zapewniają dodatkową pojemność do uruchamiania większych modeli i umożliwiania funkcji personalizacji na sprzęcie, który wcześniej byłby uważany za niewystarczający.

Tether dodatkowo wskazał, że framework wprowadza możliwości precyzyjnego dostrajania LoRA dla 1-bitowych dużych modeli językowych na sprzęcie innym niż NVIDIA po raz pierwszy, rozszerzając kompatybilność na platformy AMD, Intel, Apple Silicon i mobilne procesory graficzne. Poprzez zmniejszenie zależności od specjalistycznej infrastruktury i usług chmurowych, to podejście pozwala na przechowywanie wrażliwych danych lokalnie na urządzeniach użytkowników. Firma zauważyła, że ta efektywność może również wspierać rozwój systemów uczenia federacyjnego, w których modele mogą być trenowane wspólnie na rozproszonych urządzeniach przy jednoczesnym zachowaniu prywatności danych i minimalizowaniu zależności od scentralizowanych systemów.

Artykuł Tether uruchamia wieloplatformowy framework BitNet LoRA umożliwiający trening i wnioskowanie AI z miliardami parametrów na urządzeniach konsumenckich ukazał się najpierw w Metaverse Post.