いつも思うのですが、このように備忘録を書きながら作業すると、なんのためになにをやっているのかがはっきりするので自分のために役立っています。
LLMをローカルで動かすべくminiPCを購入したことは以前書きました。ローカルでLLMを試す定番Ollamaをインストールします。
マイナーなAMDのGPU Radeonもサポートされている模様。
とはいえ、LLMを動かすのだからそれなりにリソースは必要です。だいたいこういうことらしいです。
- 小さいモデル（例：~30億パラメータのPhi-3 Mini）：8GBのRAMは最低限。
- 中くらいのモデル（例：70〜80億パラメータのLlama 3 8B、Mistral 7B）：一般的には少なくとも16GBのRAMが必要です。
- 大きなモデル（例：130億以上のパラメータ）：しばしば32GBのRAM以上が必要です
GPUとドライバーが入っていれば、使います。
以下、最初の検証は雑誌インターフェース2025年12月号の特集 自分専用！LLMの作り方 です。（IT業界では自分でやって勉強することを「検証」といいます。笑）
Minicondaのインストール
公式ページはこちら
All usersにして、Register rMiniconda3 as my default Pythonにチェック
PythonはMinicondaとともにインストールされます。
インストールが終わったら、Anaconda Promptを動かして、環境を作ります。
とりあえず python -Vなんぞ入力してpythonのバージョンは把握しておきましょう。
次に
conda create -y -n rag_project python=3.10
と入力して。rag_projectを作ろうとすると、次のようなエラーメッセージがダラダラ。
CondaToSNonInteractiveError: Terms of Service have not been accepted for the following channels. Please accept or remove them before proceeding:
– https://repo.anaconda.com/pkgs/main
– https://repo.anaconda.com/pkgs/r
– https://repo.anaconda.com/pkgs/msys2
To accept these channels’ Terms of Service, run the following commands:
conda tos accept –override-channels –channel https://repo.anaconda.com/pkgs/main
conda tos accept –override-channels –channel https://repo.anaconda.com/pkgs/r
conda tos accept –override-channels –channel https://repo.anaconda.com/pkgs/msys2
For information on safely removing channels from your conda configuration,
please see the official documentation:
https://www.anaconda.com/docs/tools/working-with-conda/channels
なんかわかりませんが、使用条件に賛同したら黄色の部分のコマンドを実行しろということで実行し、再度、conda createしたらフォルダーができて、Python3.10やらpip 25.3やらの環境ができました。
conda activate rag_project
でその環境を有効にします。
コマンドプロンプトが(rag_project) C:\Users\tsuka>となっていることで、有効にされているプロジェクトがわかります。
Python環境のインストール
(rag_project) .....\rag_project> pip install -U langchain==0.3.0 langchain-community langchain-chroma langchain-huggingface chromadb pymupdf pandas transformers["ja"]
大量にパッケージのインストールが始まります。
Ollamaのインストール
Ollamaを使うことで、いろんなメジャーなLLMをローカルで制御して動かすことができます。さまざまなLLMの動作はそれぞれ違うのですが、Ollamaはその違いを吸収してくれるのです。
Ollama公式ページからWIndows用のファイルをダウンロードしてインストールします。
LLMのダウンロード
日本語が使えるLLMです。
>ollama pull hf.co/elyza/Llama-3-ELYZA-JP-8B-GGUF
これ、綴をまちがえると、Invalid username or passwordとエラーメッセージが出ます。まぎらわしいです。ブラウザーでhf.co以下を入れると正しければページが出ますから、それで確認できます。hf.coを運営しているHugging FaceはAIのツールを提供している団体です。
ダウンロードが終わったら、おもむろにGUIのOllamaを立ち上げます。
New Chatでモデルのリストの最下段にhf.co…が見えますから、それを選んで、CHatにHello,worldと入力すると A Classic! Heelo world! と返事が帰ってきました。
Ollamaから動きました。
