Cómo ejecutar IA localmente en tu PC o teléfono

Hoy en día, puedes ejecutar prácticamente cualquier modelo de IA directamente en tu PC con Windows o en tu smartphone, siempre que tu hardware lo permita. Cuando se publican estos modelos, sus páginas oficiales, como GitHub o Hugging Face, suelen ofrecer algunas pistas sobre las instrucciones de instalación. Pero aquí está el detalle: no todos los equipos pueden ejecutar estos modelos sin problemas. Las especificaciones del hardware, especialmente la VRAM de la GPU, la RAM y, a veces, la potencia de la CPU, son cruciales. Por ejemplo, para ejecutar algo como Microsoft Fara-7B u otros modelos exigentes se necesita una GPU NVIDIA decente con al menos 8-16 GB de VRAM. De lo contrario, no será fácil. Saber si tu sistema cumple con los requisitos antes de descargar o intentar instalar un modelo ahorra muchísimo tiempo y, sinceramente, es mucho mejor que encontrarse con errores después de horas de configuración.

Cómo comprobar si puedes ejecutar IA localmente en tu PC o teléfono.

Por suerte, existen sitios web y herramientas que intentan determinar si tu hardware es capaz de ejecutar esos sofisticados modelos de IA. No es infalible al 100%, pero al menos te da una idea sin tener que adivinar todas las especificaciones de tu equipo. Aquí tienes un resumen de las opciones disponibles:

¿Puedo ejecutar IA?

  • CanIRun.ai detecta rápidamente tu hardware y te indica qué modelos de IA podrían funcionar sin problemas. Al visitar la página, intenta detectar automáticamente la información de tu GPU, RAM, CPU y almacenamiento. Advertencia: a veces, las especificaciones no son correctas, así que compruébalas consultando la información del sistema (como en el Administrador de dispositivos o Acerca de este equipo ).La detección no es perfecta y he visto que se equivoca en algunos detalles, pero es mejor que ir a ciegas.

En algunas configuraciones, aparecerá una cruz roja en WebGPU ; esto indica que tu navegador no admite la aceleración por GPU. Intenta cambiar de navegador. Chrome me ha dado problemas, pero Edge y Firefox han funcionado mejor. Tras el análisis, te mostrará cuántos modelos son compatibles, funcionan correctamente o son demasiado pesados. Los filtros te permiten especificar si te interesa la generación de imágenes, texto o modelos multimodales.

Laboratorio de requisitos del sistema

  • SystemRequirementsLab es otra forma de probar el hardware de tu PC, pero a diferencia de CanIRun.ai, requiere que descargues y ejecutes su herramienta de detección de hardware. Una vez que guardes y ejecutes este archivo EXE portátil, se ejecutará en segundo plano para ofrecer un análisis más detallado de las especificaciones de tu sistema. Dado que detecta activamente el hardware, los resultados suelen ser más precisos.

Una vez finalizado el proceso, muestra una tabla de compatibilidad de modelos, donde se indican los tamaños de parámetros (como 7B, 13B) y los niveles de cuantización que admite tu configuración. Sinceramente, esa información me ahorró muchos quebraderos de cabeza con modelos complejos que requieren un hardware potente. Además, puedes desplazarte hacia abajo para ver modelos específicos recomendados para tu combinación de CPU y GPU. He notado que es bastante fiable, mucho mejor que adivinar basándose únicamente en las especificaciones.

Base de IA

  • AI Base es algo diferente. No detecta automáticamente tu hardware; en su lugar, seleccionas las especificaciones manualmente en su interfaz. Así, si conoces tu RAM, VRAM de GPU y CPU, te indicará si ciertos modelos son compatibles con tu configuración. Resulta útil si estás actualizando el hardware o simplemente quieres tener una idea aproximada sin instalar nada.

Este sitio web muestra modelos en la sección «Model Prediction Runtime», que básicamente ofrece una estimación de compatibilidad basada en los datos de entrada. Al ser un proceso manual, permite comparar fácilmente diferentes configuraciones, pero su precisión depende de la calidad de los datos de entrada.

Comprobador de compatibilidad de hardware de IA

  • El comprobador de compatibilidad de hardware para IA te ayuda a determinar qué modelos puede ejecutar tu equipo introduciendo la información de tu VRAM y RAM. Simplemente introduce las especificaciones de tu sistema, pulsa « Comprobar compatibilidad » y te mostrará los modelos y tareas de IA compatibles, ya sea texto, imágenes o detección de objetos. También ofrece filtros para diferentes casos de uso, lo cual resulta bastante útil.

Es una forma rápida de comprobar si tu hardware puede sortear las limitaciones del sistema y ejecutar algunos modelos localmente sin problemas. En una configuración, logré ejecutar modelos de imágenes ligeros; en otra, me indicó que mi GPU no era apta para nada más complejo que la generación básica de texto.¿Curioso, verdad?

¿Ejecutar IA en tu teléfono? Sí, es posible.

Para los smartphones, la cosa es un poco más impredecible. La opción más sencilla es visitar CanIRun.ai. Detecta el hardware de tu teléfono (o al menos lo intenta) y te muestra los modelos compatibles directamente en tu navegador. Si indica que ciertos modelos no funcionarán, probablemente no haya solución. Pero en la mayoría de los casos, puede que necesites una aplicación de terceros.

Aplicaciones como PocketPal AI o Google AI Edge Gallery están diseñadas para ejecutar modelos localmente en tu teléfono. Solo tienes que instalarlas desde Google Play o la App Store. Si tu dispositivo tiene la potencia suficiente, funcionarán o, al menos, te avisarán si no son compatibles. Si recibes el mensaje «Esta aplicación no funciona en tu dispositivo», es una clara señal de que el hardware no cumple con los requisitos (o que el sistema operativo no es compatible).

¿Es posible ejecutar un agente de IA localmente?

Sí, ¡es posible! Depende de tu hardware. Para generar imágenes o vídeos, necesitarás una buena GPU, con suficiente VRAM. Para tareas más sencillas, como la generación de texto, incluso una tarjeta gráfica integrada podría servir, pero los resultados serán más lentos. Lo importante es que el modelo sea compatible con tu hardware; de ​​lo contrario, solo conseguirás muchos intentos fallidos y perderás tiempo.

¿Cuánta RAM necesitas realmente para la IA?

Esto depende del tamaño y tipo de modelo de IA, y de si trabajas con versiones cuantizadas o modelos de precisión completa. Los modelos grandes como GPT-3 o similares de más de 13 mil millones de iteraciones requieren sin duda 16 GB o más de RAM solo para cargarse en memoria. Los modelos más pequeños o las versiones cuantizadas a veces pueden funcionar con 8 GB o incluso menos, pero no esperes respuestas ultrarrápidas. Sinceramente, en algunas configuraciones he visto modelos que funcionan con lentitud incluso con especificaciones decentes, así que se trata de encontrar el equilibrio adecuado.

En resumen: revisa tu hardware, comprende las especificaciones del modelo y elige en consecuencia. O al menos prueba las herramientas mencionadas anteriormente; te ahorrarán muchas conjeturas.