Debian + Docker + Ollama + Open WebUI
Un modo de tener IA en local es utilizar Ollama y Open WebUI, y todo instalado de forma sencilla con Docker
1. Herramientas necesarias
Necesitaremos:
- Debian: en mi caso trabajo con la mejor distribución Linux.
- Docker: para trabajar con contenedores de forma sencilla.
- Ollama: te permite trabajar con modelos de IA, tanto en local como conectado al Cloud.
- Open WebUI: nos proporcionará una interficie web para poder interactuar con Ollama.
El objectivo es poder trabajar con IA en local con nuestro ordenador
2. Requerimientos
Depende de muchas cosas. Modelo, contexto (tokens), si tienes o no tarjeta gráfica…
Pero para ir al grano, si quieres trabajar con IA necesitas una buena máquina: I7, 32GB RAM mínimo y una tarjeta gráfica Nvidia potente.
De otro modo, también puedes hacer como yo y tirar de un I5, 32GB y con CPU pero ya sabiendo que trabajarás lento o descargando modelos ligeros.
3. Instalación
Me voy a centrar en la instalación de Ollama y Open WebUI con Docker. En la parte inferior os dejo un enlace de cómo se instala docker en debian (también econtraréis otros Sistemas operativso).
3.1 Ollama
La instrucción para instalar Ollama en Docker, se realiza desde una terminal con la instrucción:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Una vez finalizada la instalación que dura un buen tiempo, para comprobar que está correcto, debes ejecutar sobre la terminal:
curl http://localhost:11434
Si la respuesta es satisfactoria, pasa al siguiente paso.
Para poner en marcha Ollama, haremos
docker start ollama
Para pararlo
docker stop ollama
3.2 Bajamos modelo en Ollama
Cuando tengamos en marcha el contenedor Ollama, y tengamos claro qué modelo descargar, ejecutamos la siguiente orden desde consola:
docker exec -it ollama ollama pull qwen2.5-coder:14b
De esta manera, entra dentro del contenedor de docker llamado ollama, i ejecuta la orden de ollama para descargar el modelo requerido, en este caso: qwen2.5-ocer:14b
Algunos modelos son de 10, 20 o 30GB por lo que la descarga puede tardar lo suyo.
3.3 Instalamos Open WebUI en Docker
Una vez tenemos Ollama y el modelo deseado descargado, vamos a por la interficie. La instalamos en docker:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
También estaremos un buen rato descargando OpenWebUI. Esperamos unos 60 segundos una vez descargado.
4. En marcha
Ahora ya podemos probarlo todo. Abrimos navegador y vamos a la dirección
http://localhost:3000
Debería salir una pantalla de registro. Ponemos nick, email contraseña y ya estamos dentro.
A partir de aquí escogéis modelo de IA, y hacéis prompts… en local.