ITで遊ぶ

AIをローカル環境で動かす(3)

  • AI

Open Web UIとOllama GUI

たしかに黒画面でAIは動き、会話できます。
でも、世界中のみんなが思ったようです。「愛想ないなぁ」
そこでインストールすべきなものがOpen Web UIです。定番です。

多くの解説が「1コマンドで」と書いてありますが、Open Web UIのドキュメントにはふたつコマンド出てるし、確実だと思います。
あらかじめ、Docker(Desktop)を起動します。

docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

上のコマンドでWebUIがインストールされ、下のコマンドで実行されます。
パラメーターの意味です。

  • -d コンテナをバックグラウンドで実行します。
  • -p 3000:8080 ホストの3000ポートをコンテナの8080ポートにマッピングします。
  • -v open-webui:/app/backend/data データの永続化のためのボリュームを作成します。
  • –name open-webui コンテナに名前を付けます。
  • ghcr.io/open-webui/open-webui:main 使用するDockerイメージを指定します。

ブラウザーから

http://localhost:3000

すると、Ollamaよりだいぶマシな画面がでて、AIとチャットできます。
もちろんマシンのIPアドレスがわかれば、他のマシンからもつなぐことができます。

ただし、重大な制約がありOllamaはデフォルトでは一時点でひとつの処理しかしません。Ollama GUIとWebUIの両方を動作させることはできないのです。

以下のパラメーター設定をすると可能になります。

OLLAMA_NUM_PARALLEL

しかし、LLMモデルそのものが要求ごとに立ち上がるのでメモリーを大量に使うことになります。現実的ではないかもしれませんね。
 

Ollama GUI

Windowsならば右下のアイコンでOllamaマークを右クリックしてOpen OllamaするとGUIが出ます。
これがなかなかスグレモノで、モデルファイルを書き換えたら、New Chatをクリックするだけで古いモデルは除去され、リロードが始まります。
WebUIより今のところはお気に入りです。

関連記事

  1. AIをローカルで動かして勉強する(1)

  2. AIの若干の歴史

  3. AIをローカルで動かす(2)