macstudio

llm-architektur (final)

concept

zwei-tier-architektur mit open web ui und ollama direkt auf der mac studio:

[vps mit tailscale connection] ←→ open web ui (studio:3000) ←→ mac studio (ollama api)
                                                                    ↓
                                                             macbook air (client)

setup installation history

date: 2026-02-24

installation steps completed:

1. docker desktop installed via manual download and installation
2. docker daemon started and verified (version 29.2.1)
3. open web ui image pulled: ghcr.io/open-webui/open-webui:main
4. container started with ollama integration

container configuration:

• container name: open-webui
• image: ghcr.io/open-webui/open-webui:latest
• port mapping: 3000:8080
• ollama base URL: http://host.docker.internal:11434
• ollama origins: * (all origins allowed, for development)
• api key authentication: ENABLE_API_KEY=True
• data persistence: open-webui-data:/app/backend/data

container health status: healthy

troubleshooting steps:

1. CORS warning: CORS_ALLOW_ORIGIN IS SET TO '*' - NOT RECOMMENDED FOR PRODUCTION
2. health check: container running but health status shows "starting" - wait 60 seconds for full initialization

docker management commands:

# start container
docker start open-webui

# stop container
docker stop open-webui

# restart container
docker restart open-webui

# view logs
docker logs -f open-webui

# view container status
docker ps | grep open-webui

# check container details
docker inspect open-webui

benefits

• nur eine ollama-session im ram (maximale effizienz)
• macbook air wird nur client, keine installationslast
• open web ui kümmert sich um ui/chat-history in vps
• api-layer läuft im studio (zuhause)
• zugriff von überall über vps url
• sauber getrennt: ui (vps) vs llm computation (studio)

required components

1. open web ui auf vps (bereits vorhanden) - läuft mit tailscale netzwerk
2. ollama im mac studio (kann direkt auf api zugreifen)
3. api-layer im studio (vom macbook air über API erreichbar)
4. tailscale für vpn-tunnel zwischen vps und studio
5. firewall-configuration in ollama (nur bestimmte ips erlauben)

ollama config in mac studio

# ollama service erlauben nur calls von tailscale-netzwerk
export OLLAMA_ORIGINS="*"

# oder konkret:
export OLLAMA_ORIGINS="https://deine-vps-url.tunnel.app, https://*.ts.net"

api endpoint configuration

• ollama listen: http://localhost:11434
• open web ui endpoint: https://deine-vps-url.tunnel.app/api
• macbook air api client: http://<tailscale-ip-studio>:11434

vps tailscale setup

# vps tailscale installieren (falls nicht schon geschehen)
curl -fsSL https://tailscale.com/install.sh | sh

# tailscale authen
tailscale up

# tailscale mit studio verbinden (selbe tailscale account für beide)
# studio: tailscale up
# terminal shows: "You are now connected to Tailnet!"

# gemeinsame vpn-netzwerk für api-access

tailscale ip lookup

# mac studio
tailscale ip -4

# vps
curl ifconfig.me (oder tailscale ip -4)

# macbook air
tailscale ip -4

firewall / network routing

• vps öffnet port 80/443 für open web ui
• ollama im studio bleibt intern auf localhost:11434
• api layer im studio muss extern erreichbar sein (optional)
• tailscale vpn überschreibt firewall-rules für lokale netzwerke

troubleshooting

• "ollama: http.error: connection error" -> ollama origins prüfen
• "open web ui: model not found" -> ollama model name stimmt exakt
• tailscale ip muss exakt sein (127.0.0.1 funktioniert nur studio-seitig)
• open web ui logs: journalctl -u open-webui -f
• ollama logs: ollama logs

---

alternative: vps-only architecture (current)

concept

alles auf vps (ollama, open web ui, api):

[vps (ollama + open web ui)] ←→ browser von überall

setup

# auf vps:
ollama serve
open-webui serve

issues

• ollama wird auf vps laufen (nicht im studio)
• cpu-usage auf vps
• kein lokales gpu-acceleration (falls vorhanden)
• keine separate client-gpu-nutzung möglich

reason for not using this:

• keine nutzung der leistungsstarken gpu im studio
• alles auf vps konzentriert
• vps-last höher

---

current setup (not recommended for future)

temporary hybrid approach

macstudio (ollama) ←→ macbook air (both ollama instances)

issues

• zwei ollama-instanzen laufen parallel
• doppelter ram-verbrauch für llm-models
• ineffizienter, da ggf. gleiche models geladen werden
• maintenace overhead mit zwei installations

reason for upgrading:

• effizienz durch zentralelllllllllllll
• sauberere separierung von ui vs computation
• zukunftssicher für mehrere clients

---

Einstellung des 1 Mann Rechenzentrum Herz

Homebrew Packages

Casks

• google-chrome
• ollama-app
• rustdesk
• tailscale-app
• visual-studio-code

Formulas

• ada-url
• brotli
• c-ares
• ca-certificates
• fmt
• google-chrome
• hdrhistogram_c
• icu4c@78
• libnghttp2
• libnghttp3
• libngtcp2
• libuv
• llhttp
• lz4
• macmon
• node
• ollama-app
• opencode
• openssl@3
• pcre2
• readline
• ripgrep
• rustdesk
• simdjson
• sqlite
• tailscale-app
• uvwasi
• visual-studio-code
• xz
• zstd

Ollama Models

• glm-4.7-flash:bf16
• kimi-k2.5:cloud
• qwen3-coder-next:latest
• qwen3-next:80b