un nuevo estudiar Investigadores del MIT y Empirical Health utilizaron 3 millones de días-persona de datos del Apple Watch para desarrollar un modelo de referencia que predice condiciones médicas con una precisión impresionante. Aquí están los detalles.
un poco de contexto
Mientras Yann LeCun todavía era científico jefe de IA en Meta, propuso la arquitectura predictiva de incrustación conjunta, o JEPA, que esencialmente enseña a una IA a inferir el significado de los datos faltantes en lugar de los datos en sí.
En otras palabras, cuando se trata de lagunas en los datos, el modelo aprende a predecir cuáles son las piezas que faltan. representaren lugar de tratar de adivinar y reconstruir sus valores precisos.
Para una imagen, por ejemplo, donde algunas partes están ocultas y otras son visibles, JEPA incrustaría las regiones visibles y ocultas en un espacio compartido (de ahí la incrustación conjunta) y pediría al modelo que infiera la representación de la región oculta a partir del contexto visible, en lugar del contexto exacto. contenido los cuales estaban escondidos.
Así lo expresó Meta cuando la compañía lanzó un modelo llamado Yo-si en 2023:
El año pasado, Yann LeCun, científico jefe de IA de Meta, propuso una nueva arquitectura destinada a superar las limitaciones clave de los sistemas de IA más avanzados de la actualidad. Su visión es crear máquinas que puedan aprender modelos internos de cómo funciona el mundo para que puedan aprender mucho más rápidamente, planificar cómo realizar tareas complejas y adaptarse fácilmente a situaciones desconocidas.
Desde la publicación del estudio JEPA original de LeCun, esta arquitectura se ha convertido en la base de un campo que explora los «modelos mundiales», lo que supone una desviación del enfoque de predicción de tokens de los LLM y los sistemas basados en GPT.
De hecho, LeCun incluso dejó recientemente Meta para crear una empresa centrada completamente en modelos globales, que él cree que son el verdadero camino hacia AGI.
Entonces, ¿3 millones de días de datos del Apple Watch?
Sí, volvamos al estudio que nos ocupa. Publicado hace unos meses, el periódico JETS: un modelo básico de series temporales de integración conjunta autosupervisada para datos de comportamiento en atención médica Recientemente fue aceptado en un taller en NeurIPS.
Adapta el enfoque de integración conjunta de JEPA a series temporales multivariadas irregulares, como datos portátiles a largo plazo donde la frecuencia cardíaca, el sueño, la actividad y otras métricas aparecen de manera inconsistente o con grandes desviaciones a lo largo del tiempo.
Extracto del estudio:
El estudio utiliza un conjunto de datos longitudinal que incluye datos de dispositivos portátiles recopilados de una cohorte de 16.522 personas, con un total de aproximadamente 3 millones de días-persona. Para cada individuo, se registraron 63 mediciones de series temporales separadas con una resolución diaria o inferior. Estas medidas se clasifican en cinco dominios fisiológicos y conductuales: salud cardiovascular, salud respiratoria, sueño, actividad física y estadísticas generales.
Curiosamente, sólo el 15% de los participantes habían etiquetado su historial médico para su evaluación, lo que significa que el 85% de los datos no habrían sido utilizables en los enfoques tradicionales de aprendizaje supervisado. En cambio, JETS aprendió primero del conjunto de datos completo a través de un entrenamiento previo autosupervisado, y ENTONCES refinado en el subconjunto etiquetado.
Para que funcione, crearon datos triples a partir de observaciones correspondientes al día, valor y tipo de métrica.
Esto les permitió convertir cada observación en un token, que a su vez pasó por un proceso de enmascaramiento, se codificó y luego se pasó a un predictor (para predecir la integración de los parches faltantes).
Una vez hecho esto, los investigadores compararon JETS con otros modelos de referencia (incluida una versión anterior de JETS, basada en la arquitectura Transformer) y los evaluaron utilizando AUROC y AUPRC, dos medidas estándar de la capacidad de una IA para distinguir casos positivos de negativos.
JETS logró un AUROC de 86,8% para hipertensión arterial, 70,5% para aleteo auricular, 81% para síndrome de fatiga crónica, 86,8% para síndrome sinusal, entre otros. Por supuesto que ese no es el caso siempre ganar, pero los beneficios son bastante claros, como se ve a continuación:
Cabe destacar que AUROC y AUPRC no son estrictamente precisión índice. Estas son métricas que muestran qué tan bien un modelo clasifica o prioriza los casos probables, en lugar de con qué frecuencia acierta las predicciones.
En general, este estudio presenta un enfoque interesante para maximizar la comprensión y el potencial de recuperación de datos que podrían considerarse incompletos o irregulares. En algunos casos, las métricas de salud solo se registraron el 0,4% del tiempo, mientras que otras aparecieron en el 99% de las lecturas diarias.
El estudio también refuerza la idea de que los nuevos modelos y técnicas de entrenamiento son muy prometedores para explorar los datos ya recopilados por dispositivos portátiles tradicionales como el Apple Watch, incluso cuando no se usan el 100% del tiempo.
Puedes leer el estudio completo aquí.
