Esta semana, OpenAi publicó su tan esperado modelo de peso abierto llamado GPT-AS. Parte de la atracción de GPT-as es que puede ejecutarlo localmente en su propio equipo, incluido Mac con silicio de manzana. Aquí le mostramos cómo comenzar y qué esperar.
Modelos y Macs
Primero, GPT-AS está disponible en dos sabores: GPT-OS-20B y GPT-OS-15B. El primero se describe como un modelo promedio de peso abierto, mientras que el segundo se considera un modelo de peso abierto.
El modelo promedio es que Mac Apple Silicon con suficientes recursos puede esperar trabajar localmente. La diferencia? Espere que el modelo alucinado más pequeño sea más en comparación con el modelo mucho más grande debido a la diferencia en el tamaño del conjunto de datos. Es el compromiso de un modelo más rápido que en realidad es capaz de operar en MAC de alto gas.
Sin embargo, el modelo más pequeño es una herramienta ordenada disponible de forma gratuita si tiene una Mac con suficientes recursos y curiosidad en relación con la gestión de modelos de idiomas localmente locales.
También debe ser consciente de las diferencias con la ejecución de un modelo local en comparación con, digamos, a ChatGPT. Por defecto, el modelo local con peso abierto no tiene muchas características de chatbot modernas que hacen que el chatgpt sea útil. Por ejemplo, las respuestas no contienen consideración para los resultados web que a menudo pueden limitar las alucinaciones.
Operai recomienda al menos 16 GB de RAM para ejecutar GPT-OS-20B, pero Mac con más RAM RA obviamente mejor. Según los primeros comentarios de los usuarios, 16 GB de RAM es realmente el fundamento de lo que es necesario simplemente experimentar. (La IA es una gran razón por la cual Apple ha dejado de vender Mac con 8 GB de RAM no tan tiempo, Con una excepción de valor.)
Configuración y uso
Preámbulo separado, el comienzo es súper simple.
Primero, instale Olllama en su Mac. Es esencialmente la ventana para interactuar con GPT-OS-20B. Puede encontrar la aplicación para olllama.com/downloado descargue la versión Mac de tSu enlace de descarga.
Luego abra el terminal en su Mac e ingrese este pedido:
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
Esto alentará a su Mac a descargar GPT-AS-20B, que utiliza aproximadamente 15 GB de almacenamiento en disco.
Finalmente, puede iniciar Ollama y seleccionar GPT-AUS-20B como modelo. Incluso puede poner olllama en modo plano en el panel de configuración de la aplicación para asegurarse de que todo esté sucediendo localmente. No se requiere conexión.
Para probar GPT-OS-20B, simplemente ingrese una invitación en el campo de texto y mire el modelo que funcione. Nuevamente, los recursos materiales dictan el rendimiento del modelo aquí. Olllama utilizará todos los recursos posibles al realizar el modelo, por lo que su Mac puede ralentizar una rampa mientras el modelo piensa.
Mi mejor Mac es un MacBook Air de 15 pulgadas con 16 GB de RAM. Aunque el modelo funciona, es un orden a gran escala incluso para la experimentación en mi máquina. Responder a «hola» tomó un poco más de cinco minutos. Responder a «quién era el 13º presidente» tomó un poco más de tiempo alrededor de los 43 minutos. Tú Realmente quiero más Ram Si planea pasar más de unos minutos para experimentar.
¿Decidir que desea eliminar el modelo local y recuperar este espacio en disco? Ingrese este comando terminal:
ollama rm gpt-oss:20b
Para obtener más información sobre el uso de Olllama con GPT-AST-20B en su Mac, consulte esto recurso oficial. Alternativamente, puede usar LM StudioOtra aplicación Mac para trabajar con modelos de IA.
