Intel lanza GPUs Arc Pro B70/B65 para IA; Google mejora eficiencia de LLMs
Intel presentó sus nuevas placas de video Arc Pro B70 y B65, pensadas para inteligencia artificial local con hasta 32GB de memoria. En paralelo, Google reveló TurboQuant, una técnica que optimiza el rendimiento y el consumo de memoria en modelos de lenguaje grandes.
Intel dio un paso importante en el sector profesional y de IA al presentar sus nuevas GPUs Arc Pro B70 y B65, conocidas internamente como "Big Battlemage". Estas placas de video están diseñadas específicamente para cargas de trabajo de inteligencia artificial, ofreciendo una capacidad de memoria que se destaca en el mercado.
La Arc Pro B70, el modelo insignia, viene con 32GB de memoria dedicada, un punto clave para quienes trabajan con inferencia de IA a nivel local. Esto significa que podés procesar modelos complejos directamente en tu máquina, sin depender tanto de la nube. Para ponerlo en perspectiva, la B70 se posiciona como una alternativa con más memoria (32GB vs 24GB) y a casi la mitad del precio ($949 frente a $1800) respecto a competidores como la NVIDIA RTX Pro 4000 Blackwell, según datos de Intel. Esto se traduce en un rendimiento de hasta 367 TOPS (Tera Operaciones Por Segundo) para tareas de IA, un indicador de su capacidad de cálculo.
La Arc Pro B65, por su parte, ofrece especificaciones ligeramente menores pero mantiene el enfoque en la eficiencia y la accesibilidad para profesionales que necesitan potencia en el escritorio para diseño, edición de video o desarrollo de IA.
En otro frente, Google también hizo un anuncio relevante para el mundo de la IA con su tecnología TurboQuant. Esta innovación busca resolver uno de los desafíos más grandes de los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés, como ChatGPT o Gemini): su enorme consumo de memoria y recursos. TurboQuant logra reducir los requisitos de memoria de la caché KV (Key-Value, una parte crítica de los LLMs que almacena información para generar respuestas coherentes) hasta ocho veces, comprimiéndolos a solo 3 bits sin perder precisión en las respuestas.
¿Qué significa esto en la práctica? En pruebas realizadas con GPUs Nvidia H100, TurboQuant mostró una mejora de rendimiento de hasta ocho veces en el cálculo de los "attention logits", que son clave para la forma en que los LLMs procesan el contexto. En otras palabras, hace que estos modelos gigantes funcionen mucho más rápido y consuman menos recursos, optimizando el hardware existente de forma significativa.
Para vos, que trabajás con tecnología o tenés una PyME que empieza a explorar la IA, estos desarrollos son importantes. Las GPUs de Intel abren la puerta a tener capacidades de IA potentes y accesibles directamente en tu puesto de trabajo, sin que el costo sea una barrera insuperable. Por otro lado, la eficiencia que propone Google con TurboQuant significa que los modelos de IA, cada vez más complejos, podrán ejecutarse de forma más fluida y económica, tanto en la nube como, potencialmente, en equipos locales más modestos en el futuro.
La posta es que el hardware y el software siguen evolucionando para que la IA sea más eficiente y esté al alcance de más gente. La pregunta es: ¿cómo vas a aprovechar estas herramientas en tu día a día o en tu negocio?
