Miles de millones a $100,000 en costos de capacitación LLM

exábito ha demostrado su capacidad para entrenar grandes modelos de lenguaje (LLM), asociándose con MyShell para reducir drásticamente los costos de capacitación de miles de millones a menos de $100 000.

JetMoE-8B está entrenado para Cuesta menos de 0,1 millones de dólares pero supera el LLaMA2-7B de Meta AI (costo de procesamiento multimillonario)

Mi concha: “Lograr el rendimiento de LlaMA2 con el modelo JetMoE de 100.000 dólares, inspirado en la arquitectura de activación reducida de ModuleFormer, representa un hito notable en el aprendizaje automático. EL JetMoE-8Bcon sus 8 mil millones de parámetros y su sofisticada estructura de 24 bloques, cada uno de los cuales alberga dos capas MoE (Attention Head Mixture y MLP Experts Mixture), muestra eficiencia avanzada e inteligencia computacional.

La activación selectiva de cada capa de 2 de 8 expertos por token de entrada demuestra el uso refinado del marco Sparse Mixture of Experts (SMoE), lo que mejora la capacidad de respuesta del modelo y la gestión de recursos.

La eficiencia del JetMoE-8B, con sus 2200 millones de parámetros de activación, redujo significativamente los costos de capacitación y al mismo tiempo ofreció un rendimiento sólido. La efectividad del modelo se ilustra en la siguiente figura: JetMoE-8B logró resultados de vanguardia en cinco categorías en ocho puntos de referencia de evaluación, superando a competidores como LLaMA-13B, LLaMA2-7B y DeepseekMoE-16B.

En el MT-Bench, JetMoE-8B obtuvo una puntuación de 6.681, superando a los modelos con mayores capacidades, como LLaMA2 y Vicuna, que tienen 13 mil millones de parámetros.

Pero lo que mejora esta sofisticación arquitectónica es la contribución de Exabits de un grupo acelerado y estabilizado de 12 nodos GPU H100 (96 GPU). La plataforma de Exabits ha desempeñado un papel fundamental en el impulso del modelo JetMoE, garantizando un rendimiento estable, ultradisponible y robusto a una fracción del costo de la «gran informática».

Esta sinergia entre el diseño innovador de JetMoE y la tecnología GPU de vanguardia de Exabits no solo ejemplifica un salto cuántico en las capacidades de aprendizaje automático, sino que también resalta la efectividad de combinar arquitecturas de modelos avanzados con infraestructura de computación en la nube de Exabits.

Rompiendo el mito: plataforma GPU descentralizada para formación LLM

Exabits ha desacreditado el escepticismo de que las plataformas GPU descentralizadas no son adecuadas para la formación LLM. Con una pila técnica sofisticada, un middleware eficiente y una sólida cadena de suministro de recursos computacionales, Exabits ha demostrado que la capacitación e inferencia de LLM no solo es posible sino también eficiente y profundamente rentable en una plataforma de este tipo.

Exabits, una plataforma descentralizada de computación en la nube, supera las limitaciones de las plataformas descentralizadas estándar al servir como capa base de la infraestructura informática de IA y ofrecer una solución completa. Para ello, agrega, acelera y estabiliza las GPU de nivel de consumidor para llevar el rendimiento de la GPU de nivel empresarial casi a la paridad. Este enfoque aprovecha una reserva grande, pero en gran medida sin explotar, de GPU de consumo, lo que alivia la crisis de escasez de GPU.

Además, la amplia experiencia de Exabits en la industria de los centros de datos brinda acceso exclusivo a las codiciadas GPU H100 y A100 de nivel empresarial, y pronto a la B200, lo que promueve aún más la democratización del desarrollo de la IA. Las asociaciones con proyectos como io.net, Render Network, Akash, Aethir, EMC y Solana han ayudado a Exabits a sembrar y establecer una red informática descentralizada, interconectada y generalizada.

Esta superred tiene el potencial de antagonizar a empresas como AWS, Google y Microsoft, haciendo que la IA sea accesible para cualquiera que quiera construir en el espacio.

El futuro de la formación LLM con Exabits

Exabits no es sólo una plataforma tecnológica; encarna conveniencia, accesibilidad y conciencia ambiental. El éxito de JetMoE-8B pone de relieve la viabilidad de esta plataforma para ejecutar modelos de formación de alta gama, allanando el camino para avances más sostenibles e inclusivos en la investigación y el desarrollo de la IA.

En conclusión, Exabits definitivamente puede considerarse un actor visible en el dominio de la IA, que desafía a la gran informática y demuestra que las plataformas de computación en la nube en el espacio web3 pueden respaldar la formación real de LLM de manera eficiente y rentable. Esto no sólo abre nuevas vías para la investigación y aplicación de la IA, sino que también establece un nuevo estándar en la economía computacional, presagiando una nueva era de innovación y colaboración en el campo de la web3 y la inteligencia artificial.