Conform Playtech.ro: Jalapeno, noul cip OpenAI, promite performanțe superioare în inferența AI
OpenAI a prezentat rezultatele testelor pentru noul său cip, denumit Jalapeno, conceput pentru a accelera operațiunile de inferență în inteligența artificială. Conform datelor comunicate la conferința Hot Chips, Jalapeno ar putea oferi avantaje semnificative în termeni de latență și eficiență energetică comparativ cu soluțiile existente de la Nvidia.
Testarea Jalapeno pe modele AI de amploare
Testele au fost efectuate utilizând suita InferenceX de la SemiAnalysis și au vizat trei modele de inteligență artificială de mari dimensiuni: GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5 de la Moonshot AI, acesta din urmă depășind un trilion de parametri. Rezultatele indică o reducere a latenței end-to-end între 1,7 și 3,6 ori în comparație cu sistemele Nvidia GB200 și GB300, în special în scenariile care necesită valori scăzute ale latenței.
În anumite puncte de funcționare, avantajul Jalapeno devine și mai pronunțat, ajungând la un spor de performanță raportată la consum de până la 8,6 până la 104,3 ori, conform afirmațiilor OpenAI. Această comparație se referă la intervalul dintre tokeni, utilizând cele mai rapide setări anterioare ale GB300.
Este important de menționat metodologia de comparație. OpenAI a raportat rezultatele bazându-se pe consumul nominal al acceleratorului, în timp ce consumul real al Jalapeno nu a depășit aproximativ 550W în timpul testelor. O analiză bazată pe consumul total al sistemului reduce însă diferența, Jalapeno fiind estimat la aproximativ 1,18 kW per accelerator, față de 2,55 kW pentru GB300.
Limitări și contextul comparației
Rezultatele prezentate de OpenAI nu implică o depășire completă a tuturor soluțiilor noi de la Nvidia. Un detaliu esențial este că testele nu au inclus Vera Rubin, noua platformă Nvidia cu care OpenAI intenționează să colaboreze pentru implementarea unor sisteme cu o capacitate de 10 GW, începând cu a doua jumătate a anului 2026.
De asemenea, Jalapeno este optimizat pentru inferență, adică pentru rularea modelelor antrenate și generarea răspunsurilor, nu pentru antrenarea acestora, domeniu în care acceleratoarele Nvidia continuă să domine. O altă diferență constă în modul de utilizare: principalele comparații au evaluat Jalapeno în raport cu configurații GB200 și GB300 care utilizau predicția unui singur token. În centrele de date, Nvidia este adesea utilizată cu tehnici de multi-token prediction, care pot influența rezultatele privind eficiența.
Noul cip OpenAI, Jalapeno, a demonstrat în teste o capacitate de a reduce latența și de a optimiza consumul energetic în sarcinile de inferență AI. Compania intenționează să continue dezvoltarea și integrarea acestor tehnologii.
Sursa: Playtech.ro
