In Breve
- Qual è il nuovo prodotto lanciato da ZML?
- ZML ha lanciato LLMD, un server di inferenza per AI.
- Qual è l'obiettivo di LLMD?
- Ottimizzare l'uso di diversi chip per migliorare l'efficienza dell'IA.
- Chi è il fondatore di ZML?
- Il fondatore di ZML è Steeve Morin.
La startup francese ZML ha recentemente lanciato LLMD, un innovativo server di inferenza progettato per rivoluzionare il modo in cui i modelli di linguaggio open source vengono eseguiti su una vasta gamma di chip. Tra questi, Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, distribuito gratuitamente al momento del lancio, non è open source ma mira a superare i comuni vincoli software e architetturali che spesso portano a un lock-in verso specifici fornitori. L’obiettivo principale di LLMD è permettere a imprese e operatori cloud di utilizzare un mix di chip, anche quelli più economici o efficienti dal punto di vista energetico, per ottenere significativi guadagni di efficienza e facilitare la diffusione dell’intelligenza artificiale (IA).
Il fondatore di ZML, Steeve Morin, ha dichiarato: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA». ZML sta anche esplorando collaborazioni con nuovi produttori di chip, molti dei quali europei, tra cui Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. La società afferma di essere impegnata nello sviluppo di soluzioni non ancora esistenti altrove, con Morin che aggiunge: «Siamo arrivati al punto in cui stiamo co-progettando il silicio».
Il lancio di LLMD avviene in un mercato altamente competitivo, con concorrenti come Baseten, Inferact e RadixArk e progetti open source come vLLM e SGLang che offrono funzionalità simili. Tuttavia, ZML mantiene stretti rapporti con Nvidia. La startup, con sede a Parigi e un team di circa 20 persone, ha raccolto 20 milioni di dollari da investitori come 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza è stato VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di definire eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».
Tra i sostenitori di ZML figurano anche personalità di spicco come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a testimonianza dell’interesse per l’ecosistema tecnologico europeo. Morin ha sottolineato che Parigi è stata fondamentale per la realizzazione di ZML.