In Breve
- Qual è il nuovo chip presentato da OpenAI?
- OpenAI ha presentato Jalapeño, un chip per l'inference AI.
- Quali sono i vantaggi di Jalapeño rispetto ai chip attuali?
- Jalapeño offre un maggior numero di token per utente e una maggiore throughput per kilowatt.
- Quando è previsto il lancio di Jalapeño?
- Il lancio è previsto in volumi ridotti entro la fine del 2026, con una distribuzione più ampia nel 2027.
Alla conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip progettato per rivoluzionare l’inference AI. I benchmark su InferenceX di Semianalysis mostrano un significativo aumento del numero di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inference attuali. Il confronto è stato effettuato con il sistema Nvidia Blackwell, ma OpenAI avverte che la concorrenza potrebbe evolvere prima del lancio completo del prodotto.
Sviluppato in collaborazione con Broadcom, Jalapeño è stato progettato utilizzando i modelli proprietari di OpenAI. L’architettura del chip mira a ridurre i ritardi nelle fasi di prefill e comunicazione, minimizzando lo spostamento dei dati e i ritardi di comunicazione. Questo è reso possibile grazie alla capacità del sistema di allocare e mantenere localmente lo stato del modello, compresa la KV cache utilizzata durante la generazione delle risposte.
Richard Ho, responsabile hardware di OpenAI, ha dichiarato che Jalapeño rappresenta un avanzamento significativo rispetto allo stato dell’arte. Il chip è in grado di gestire più lavoro AI per unità di potenza e di restituire risposte più rapidamente, risultando efficiente nel servire un gran numero di clienti con una latenza molto bassa.
L’azienda prevede un primo dispiegamento del chip in volumi ridotti entro la fine del 2026, con una distribuzione più ampia prevista per il 2027. Jalapeño è destinato a diventare una piattaforma multigenerazionale, coordinando chip, memoria e modelli per ottimizzare le performance AI.