Una de las mejores herramientas para ejecutar modelos de IA localmente en una Mac acaba de mejorar. He aquí por qué y cómo ejecutarlo.
Los modelos de IA locales ahora se ejecutan más rápido en Ollama en Apple Silicon Macs
Si no estás familiarizado con SerEs una aplicación para Mac, Linux y Windows que permite a los usuarios ejecutar modelos de IA localmente en sus computadoras.
A diferencia de las aplicaciones basadas en la nube como ChatGPT, cuyos modelos no se ejecutan localmente y requieren una conexión a Internet, Ollama permite a los usuarios cargar y ejecutar modelos directamente en sus máquinas.
Estas plantillas se pueden descargar desde comunidades de código abierto como Hugging Face, o incluso directamente desde el proveedor de plantillas, como explicamos aquí.
Sin embargo, ejecutar un LLM localmente puede resultar bastante difícil, ya que incluso los LLM pequeños y livianos tienden a consumir una cantidad significativa de memoria RAM y GPU.
Para intentar contrarrestar esto, Ollama ha publicó una versión preliminar (Ollama 0.19) de su aplicación que «ahora está construida sobre el marco de aprendizaje automático de Apple, MLX, para aprovechar su arquitectura de memoria unificada», permitiendo que los modelos locales de IA se ejecuten más rápido en Apple Silicon Macs.
Aquí está Ollama:
Esto da como resultado una aceleración significativa de Ollama en todos los dispositivos Apple Silicon. En los chips M5, M5 Pro y M5 Max de Apple, Ollama aprovecha los nuevos aceleradores neuronales de GPU para acelerar tanto el tiempo hasta el primer token (TTFT) como la velocidad de generación (tokens por segundo).
Con esta actualización, Ollama dice que ahora es más rápido ejecutar asistentes personales como OpenClaw, así como agentes de codificación «como Claude Code, OpenCode o Codex».
La advertencia es que Ollama recomienda que los usuarios «se aseguren de tener una Mac con más de 32 GB de memoria unificada», lo que puede no ser el caso actualmente para muchos usuarios interesados en ejecutar LLM localmente.
De todos modos, para saber más sobre Ollama, sigue este enlace. Y si quieres saber más sobre el proyecto MLX de Apple, puedes encontrar todos los detalles aquí.
