オープンソースのLLM(SLM)を自分のPCに落として簡単に使える時代になりました。Chat GPTが出て２年半くらいなのに、すごいことです。
自分はMac miniユーザですが、Mac上で簡単にLLMを使ったWebアプリ開発環境を整えられるので、その手順を書きました。（すでに世の中に似た記事がありますが、半分、自分の記録用に書いています。）
MacでLLMを走らせるには
昨今オープンソースの高性能のLLMならぬSLM(Small Language Model)が多数出てきており、量子化したものなら最先端スペックのPCでなくても動かせるようになりました。
私はMac mini M1 (16GB)を所有していますが、このメモリサイズのマシンでも、生成AIには十分使えるものが動きます。速度は実用的ではないですが・・・。
例えばGoogleのGemma 3などはかなり良い性能で、生成する日本語の質が素晴らしく、さらに驚くことに画像分析もできます。昔のGPT-3.5よりはずっと良く、GPT-4に迫ると個人的には感じます。この前、株価チャートの解析をやらせてみたら、そつなくこなしました。
MacでGemma3のようなSLMを動作させるベストのソリューションはLM Studioだと思います。
導入するのは簡単で、上記のリンクを辿ってダウンロードしてインストールするだけです。
LM Studioでモデルをダウンロードする
LM Studioを起動しても、デフォルトはLLMモデルが入っていない状態なので、ダウンロードする必要があります。
ひとまず、下記の手順でモデル検索画面に入ると選択可能なモデルの一覧が出てきます。
モデル選択画面
MacのMシリーズ16GBだとGemma3 12Bがおすすめです。
LLMサーバを立ち上げる
下記の手順で、ダウンロードしたLLMをメモリにロードして使えるようにします。
そして、ローカルマシンにWebサーバを立てて、Webクライアントからアクセスできるようにします。
サーバのポート番号は1234です。
お試しにアクセスしてみる
以下のプログラムは、LM Studioで立てたLLMサーバにアクセスする簡単なチャットプログラムです。
import requests
import json
url = "http://localhost:1234/v1/chat/completions"
headers = { "Content-Type": "application/json" }
data = {
"model": "gemma-3-12b-it",
"messages": [
{ "role": "system", "content": "あなたは優秀なチャットボットです。名前はゲンマです。" },
{ "role": "user", "content": "初めまして！あなたは誰ですか？" }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": False
}
response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json()["choices"][0]["message"]["content"])
実行結果：
$ python test.py
初めまして！私はゲンマと申します。あなたの質問に答えたり、様々な情報を提供したりできる、AIチャットボットです。どうぞよろしくお願いします！😊 どんなことでも聞いてくださいね。
LM StudioのREST AI
LM StudioではOpen AI互換のAPIと独自のAPIが用意されています。
ちゃんとしたお作法は公式ドキュメントを参照してください。
サーバーを立てた後の使い道
Open AIなどに課金登録しなくてもLLMを使ったWebのAIアプリを開発できます。
ただ、最先端のモデルでなければ、LLMのAPI料金はだいぶ安くなっているので、開発時の動作テスト程度で使ったとしてもそんなに料金を気にする必要はないかもしれません。(Google Geminiは一定量までは無料だし）
Open AIやGoogleにデータを流すのが気持ち悪い人（会社?)や、できるだけお金を使いたくない場合に、ローカルでLLMサーバは選択肢になります。唯一のネックがスピードです。パワーのあるマシンをローカルに立てられれば、バリバリ開発に使えると思います。