Apple trabaja con NVIDIA para acelerar los modelos de lenguaje de IA

hay manzanas Detalles compartidos Colaboración con NVIDIA para mejorar drásticamente el rendimiento de grandes modelos de lenguaje (LLM) mediante la implementación de una nueva técnica de generación de texto que ofrece mejoras sustanciales de velocidad para aplicaciones de IA.

Apple a principios de este año publicado Y Código abierto ReDrafter, un método que combina búsqueda por haz y métodos de enfoque de árbol dinámico para acelerar la generación de texto. La búsqueda por haz explora múltiples secuencias de texto posibles a la vez para obtener mejores resultados, mientras que la atención en árbol organiza y elimina superposiciones innecesarias entre estas secuencias para mejorar la eficiencia.

Apple ahora ha integrado la tecnología en el marco TensorRT-LLM de NVIDIA, que optimiza los LLM que se ejecutan en las GPU de NVIDIA, donde logra un “rendimiento de última generación”, según Apple. Integration descubrió que la técnica logró un aumento de velocidad de 2,7 veces en los tokens generados por segundo cuando se probó con un modelo de producción que contenía varios miles de millones de parámetros.

Apple dice que el rendimiento mejorado no sólo reduce la latencia percibida por el usuario sino que también reduce el uso de la GPU y el consumo de energía. De manzana Blog de investigación sobre aprendizaje automático:

“Los LLM se utilizan cada vez más en aplicaciones de producción de energía, y mejorar la eficiencia de la inferencia puede afectar el costo computacional y reducir la latencia para los usuarios. Con el novedoso enfoque de ReDrafter para la decodificación inferencial integrado en el marco NVIDIA TensorRT-LLM, los desarrolladores ahora pueden beneficiarse de una generación de tokens más rápida. Para sus aplicaciones de producción LLM en GPU NVIDIA”.

Los desarrolladores interesados ​​en implementar ReDrafter pueden encontrar información detallada sobre ambos sitio web de Apple Y Blog para desarrolladores de NVIDIA.