En un nuevo artículo, un equipo de investigadores de Apple detalla un marco creativo que mejora las respuestas del LLM en razonamiento matemático, generación de código y más. Aquí están los detalles.
Difusión y autorregresión, unidas.
En un estudio recientemente revisado titulado LaDiR: la difusión latente mejora los LLM para el razonamiento textualLos investigadores de Apple, junto con investigadores de la Universidad de California en San Diego, detallan una forma interesante de mejorar la calidad de las respuestas generadas por modelos de lenguaje grandes (LLM) en ciertos dominios.
En el pasado, hemos analizado los modelos de difusión, que generan texto iterando sobre muchos tokens en paralelo en cada paso, en contraste con los modelos autorregresivos, que funcionan calculando y prediciendo tokens uno por uno.
Apple incluso ha analizado modelos de difusión aplicados a la predicción y codificación del plegamiento de proteínas, lo cual es extremadamente interesante.
En resumen, LaDiR combina los dos enfoques: adopta la difusión durante el proceso de razonamiento y luego genera el resultado final de forma autorregresiva.
Además, opera en paralelo con numerosas vías de razonamiento, cada una de las cuales lidera su propio proceso de difusión, con un mecanismo que las empuja a explorar diferentes posibilidades, produciendo así un conjunto diverso de respuestas candidatas.
Explican que durante el tiempo de inferencia, cuando el modelo esencialmente propone qué y cómo responderá a la indicación del usuario, LaDiR genera una serie de bloques de razonamiento ocultos, cada uno de los cuales comienza como un patrón aleatorio (o ruido) y se refina gradualmente hasta convertirse en un paso más coherente.
Una vez que el modelo determina que ha razonado lo suficiente, pasa a generar de forma autorregresiva la respuesta final, una ficha a la vez.
El detalle clave es que LaDiR puede ejecutar varios de estos caminos de razonamiento en paralelo, con un mecanismo que lo alienta a explorar diferentes posibilidades para evitar que todos converjan en la misma idea demasiado pronto, lo que frustraría el propósito de todo el asunto.
Es importante señalar que LaDiR no es un modelo nuevo per se, sino más bien un marco que se basa en modelos de lenguaje existentes. Cambia la forma en que razonan sobre un problema, en lugar de reemplazarlos por completo.
Cómo funciona LaDiR
En el estudio, los investigadores aplicaron LaDiR al LLaMA 3.1 8B de Meta para razonamiento matemático y planificación de acertijos, y a Qwen3-8B-Base para generación de código.
En las pruebas matemáticas, LaDiR logró una mayor precisión que los enfoques existentes y demostró un mejor rendimiento incluso en tareas más difíciles y fuera de distribución.
En pruebas de generación de código como HumanEval, LaDiR produjo resultados más confiables, superando con creces el ajuste estándar, especialmente en los problemas más difíciles.
Y en tareas de planificación tipo rompecabezas, como el juego Countdown, LaDiR exploró una gama más amplia de respuestas válidas que cualquier modelo de referencia, y encontró soluciones correctas de manera más confiable que cualquier línea de base de propósito general. Sin embargo, no se ajusta a un modelo especializado y específico de tarea sobre precisión en un solo intento.
Aunque algunos aspectos del artículo de LaDiR pueden resultar bastante técnicos, vale la pena leerlo si está interesado en el funcionamiento interno de grandes modelos de lenguaje y nuevos enfoques para mejorar el rendimiento de la generación de texto.
Para leer el artículo completo, sigue este enlace.
Para descubrir en Amazon
FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
