Qué pasó

Tether Data ha introducido el QVAC Fabric LLM, un modelo de lenguaje grande orientado a la edge (LLM) con un tiempo de inferencia combinado con un marco de adaptación de rango bajo generalizado para LLM (LoRA). Esta tecnología admite modelos de IA modernos que funcionan de manera eficiente en plataformas heterogéneas, incluidas GPUs, teléfonos inteligentes, laptops y servidores. El marco permite el procesamiento de IA en el dispositivo, diseñado para optimizar el uso de recursos y mejorar la velocidad de inferencia para aplicaciones que requieren capacidades de LLM.

Contexto
El lanzamiento de QVAC Fabric LLM se alinea con una tendencia más amplia en la industria que enfatiza la computación de IA en el borde, donde los datos se procesan localmente en los dispositivos de los usuarios en lugar de en servidores en la nube centralizados, para mejorar la privacidad, reducir la latencia y ahorrar ancho de banda. El ajuste fino de LoRA es una técnica que permite a los modelos adaptarse a nuevas tareas con menos recursos informáticos al actualizar un subconjunto más pequeño de parámetros, lo que lo hace práctico para una amplia gama de dispositivos. Tether Data, una empresa