📂 Categoría: AI,Tech,anthropic,artificial-intelligence,ll-ms,ai,distillation,large-language-models,limited-synd,developers,mythos | 📅 Fecha: 1781055281
🔍 En este artículo:
Los nuevos y potentes modelos de Anthropic se vuelven deliberadamente menos útiles cuando detectan que los usuarios están trabajando en investigaciones de IA, según información técnica que ya está generando controversia en la industria.
en un placa base Para Mythos 5 y Fable 5 lanzados el martes, Anthropic dijo que esto limitaba la utilidad de los modelos para tareas relacionadas con el desarrollo de modelos de lenguaje a gran escala.
La compañía dijo que las medidas surgen de la preocupación de que los sistemas avanzados de inteligencia artificial puedan acelerar el desarrollo de modelos competidores sin protecciones de seguridad equivalentes.
A diferencia de las salvaguardias utilizadas para riesgos de ciberseguridad, biología o química, Anthropic dice que estas intervenciones son intencionalmente invisibles para los usuarios. En lugar de rechazar solicitudes o cambiar a otro modelo, Mythos puede modificar sutilmente sus respuestas mediante técnicas como la modificación de las indicaciones del usuario.
La medida fue rápidamente criticada el martes por varios expertos en inteligencia artificial, incluida la idea de que Anthropic diseñó modelos que deliberadamente retenían información o brindaban asistencia degradada sin el conocimiento de los usuarios.
«El último modelo de Anthropic NO le ayudará si cree que su investigación/ingeniería de ML es interesante y/o degradará secretamente su coeficiente intelectual para que el ingeniero promedio no se dé cuenta», escribió la firma de investigación de IA SemiAnalysis en X el martes, refiriéndose al aprendizaje automático, un tipo de IA.
«Ya estamos viendo que la moderación del último modelo de Anthropic filtra nuestra investigación y programación según la inferencia de GPU», agregó la compañía.
«El mito será malo, PERO en las tareas de ‘búsqueda de películas de frontera’, es muy, muy triste para la comunidad de investigación», escribió en X Elie Bakouch, experto en entrenamiento de modelos de IA en la startup Prime Intellect. «Además, el hecho de que esto sea intencionalmente invisible para el usuario es una locura».
«No sólo no le ayudará, sino que mentirá y deliberadamente le dará mala información», escribió otro desarrollador de IA. «La empresa de IA ética con el LLM más descaradamente poco ético, a propósito».
Anthropic no respondió a una solicitud de comentarios de Business Insider.
Esto añade aún más combustible al acalorado debate sobre por qué Anthropic no lanzó inmediatamente Mythos cuando se anunció el modelo a principios de este año.
Básicamente, había tres teorías:
- La razón oficial: Anthropic reprimió Mythos porque era demasiado peligroso y necesitaba darles tiempo a los investigadores de ciberseguridad para prepararse para el nuevo modelo.
- Teoría de la informática: Mythos es un modelo enorme y costoso de gestionar. Anthropic no tenía suficiente potencia informática para publicarlo en su totalidad. Desde entonces, ha conseguido importantes acuerdos de TI, que pueden haberle ayudado a lanzar Fable 5 y Mythos 5 el martes.
- La teoría competitiva: Las empresas de IA están cada vez más preocupadas por la llamada destilación. Cuando se publica un modelo de frontera, los competidores pueden recopilar sus resultados y utilizar esos datos para mejorar sus propios sistemas. Es posible que Anthropic hubiera querido mantener sus mejores capacidades fuera del alcance de sus competidores durante el mayor tiempo posible, especialmente de sus rivales de código abierto y de los laboratorios de inteligencia artificial de China en rápida evolución.
Ahora que Anthropic ha incorporado estas limitaciones de la investigación de la IA en su lanzamiento oficial de Mythos, esta tercera teoría parece mucho más creíble.
Suscríbase al boletín Tech Memo de BI aquí. Contáctame por correo electrónico a abarr@businessinsider.com.
