Hace unos meses, Apple organizó un evento de dos días que presentó discusiones y publicaciones sobre los últimos avances en términos de tratamiento del lenguaje natural (PNL). Hoy, la compañía ha publicado un artículo con varios hechos sobresalientes y todos los estudios presentados. Aquí está el resumen.
EL Taller sobre lenguaje natural y sistemas interactivos 2025 Tuvo lugar del 15 al 16 de mayo y las discusiones y publicaciones centradas en tres áreas clave de investigación relacionadas con PNL:
- Sistemas interactivos en lenguaje hablado
- Entrenamiento y alineación de LLM
- Agentes lingüísticos
Durante el evento, varios investigadores de universidades, institutos, laboratorios y grupos de investigación, especialmente Allen Institute for AI, Imperial College of London, MIT, Universidad de Harvard, Universidad de Stanford y Universidad de Princeton, presentaron su último trabajo.
Algunos de estos investigadores también trabajan en la industria, en compañías como Microsoft, Amazon, Sony, Google, Tencent, Cohere y, por supuesto, Apple.
Aquí hay algunos puntos sobresalientes de las conferencias y un enlace a la lista completa de videos y artículos presentados durante el evento.
1) colapsar y detectar alucinaciones de LLM
Estos fueron dos estudios presentados por Yarin Gal, profesor asociado en la Universidad de Oxford y director de investigación en el Reino Unido del Instituto de Seguridad de AI.
El primero, el colapso del modelo AI, exploró cómo hay un límite para la red de larga data de la fuente viable de datos para la capacitación de LLM, porque un mayor uso de estos modelos conducirá a más contenido generado por los modelos en línea.
Explicó que, aunque la capacitación de LLM en tales datos sintéticos puede representar un riesgo de colapso, porque esto afectará sus conocimientos y capacidades de razonamiento, esto se puede solucionar con el desarrollo de nuevas herramientas para distinguir la forma en que los LLM han generado y generado por humanos, así como mejores reglamentos y estudios adicionales sobre la forma en que las LLM da forma de sociedad.
Su segundo estudio, detectando alucinaciones de LLM, ofrece un nuevo enfoque para identificar el nivel de confianza de la LLM, porque genera diferentes partes de una respuesta. En una palabra, la idea es asegurar que el modelo genere varias respuestas, luego agrupar estas respuestas por un significado semántico. Esto permitiría un cálculo más preciso del nivel de certeza y precisión de la respuesta, y es un marco que se puede adaptar a conversaciones más largas.
2) Aprender a fortalecer los agentes interactivos de LLM en un horizonte largo
Esta conferencia, presentada por el investigador de aprendizaje de Apple Machine, Kevin Chen, presentó un agente que su equipo entrenó en un método llamado Optimización o Loop.
El agente ha sido capacitado para realizar tareas en varios pasos, según invitados como este:
«Hice un viaje con amigos a Maui recientemente. Mantuve una nota de dinero que le debí a otros y a los demás que me debo viajar en una nota simple. Realice pagos privados o solicitudes de veneno privado en consecuencia. En pagos / solicitudes, agregue una nota» para el viaje de Maui «.
Durante la primera mitad de la conferencia, Chen demostró que, como esta tarea involucraba a varios gerentes y dependencias de conocimiento, un agente puede no ser capaz de precisión lo que se ha solicitado. Pero con Loop, que aprende de manera iterativa desde sus propias acciones pasadas y se forma para maximizar su recompensa como se observó, la solicitud se realizó con menos errores e hipótesis.
Chen también explica que el modelo se ha formado en 24 escenarios diferentes, pero tiene limitaciones, como no admitir interacciones de usuario de múltiples tours.
3) transmisión especulativa: inferencia rápida de LLM sin modelos auxiliares
Esta presentación, del gerente y líder técnica de Apple Engineering, Irina Belosova, presentó las ventajas de la decodificación especulativa, que permite una forma de generar respuestas con un modelo pequeño de alta calidad como las generadas por modelos grandes.
Esencialmente, el modelo pequeño genera secuencias de respuesta candidata, que luego son administradas por un modelo grande. Si el modelo acepta la respuesta, su trabajo está hecho. Esto permite un menor uso de memoria, un rendimiento más rápido y requiere menos parámetros en comparación con modelos similares.
Además, este enfoque «simplifica la implementación al eliminar la complejidad de la gestión, la alineación y el cambio entre varios modelos durante la inferencia», lo que significa que requiere una infraestructura más simple.
Este estudio en particular ofrece muchos detalles técnicos que merecen ser verificados. La presentación dura un poco más de 8 minutos, pero ofrece información muy interesante.
haga clic aquí Para consultar los videos, Apple ha resaltado y vea la lista completa de estudios de eventos.
