「ローカルLLM」の世界｜画像生成と会話するAIの魅力と可能性
https://note.com/chat_gpt777/n/na4a6300436af?app_launch=false
新しいパソコンを買う時から「ローカルLLM」を動かしたかった、簡単にいうとchatGPT、Gemini等を自前のパソコンで動作させる。年末になって何となく、やり残したことを思い出して、「ローカルLLM」を導入する方法を調べて、環境構築にはLM Studio、Ollamaがよさそうだったので、詳しく調べてみた。
LM Studio
GUI中心です。
ウィンドウ画面があり、モデルの検索、ダウンロード、選択、チャット実行までを画面操作で行えます。
初心者でも直感的に使いやすく、いわゆるアプリ的なUIを持っています。
「見る・選ぶ・押す」という操作が中心です。
Ollama
基本はCUI、つまりコマンドライン中心です。
ターミナルでコマンドを入力してモデルを起動・切り替えします。
Web UIは標準では持たず、APIサーバーとして動かし、他のツールや自作UIから利用する設計です。
開発者向け、他システムと組み合わせたい人向きです。
将来はOllamaにするかもしれないが、まずはLM Studioを導入することにした。LM Studioサイトからダウンロード出来る550MB位、それをインストールするとLM Studioが起動できる。
起動すると「ローカルLLM」の候補として「gpt-oss-20b」（OpenAI）が出てきた。それ以外を選ぶことが出来るはずだと思うがやり方が分からなかったので、「gpt-oss-20b」をダウンロードした（12.11GB）かなり大きなファイルです。ダウンロードするとLM Studioに組み込む。少し時間が掛かる。
完全に組み込まれると、chatGPTのようにチャット応答の画面が出てくるので、そこに書き込むと受け答えをしてくれる。あまり長文を書き込んだり、要求するとエラーになってしまう。使い方の限界を知って使う必要がありそうです。こんな場合は新しいチャットを作ってそこで使えば問題なさそう。
メールの返事
文章を作る
万華鏡ソフトの開発
Suno用楽曲の作詞、作曲
などやってみました。一応できます。
「ローカルLLM」を使うメリットはプライバシーを晒さなくてもいいところ。このパソコン内で完結する。chatGPT、Geminiなど外部のサイトを利用するときはプライバシーを晒さないように注意しないといけない。でもこれは私用の日記、自分、家族等のことも包み欠かさず出しても問題ない。私的なことで生成AIを使うことが出来る。これが良いですね。
動作は思っていたほど遅くなく、結構早いです。chatGPT、Geminiなど外部のサイトと比較してもそん色ない感じです。ただ20億パラメーターということで性能は劣ります。でも結構頑張ってる。1年後にはもっと優秀なllmが供給されるでしょう。期待したいね。今回インストールした「gpt-oss-20b」は16GBのRAMを積んでいれば使えるllmとのこと。ノートパソコンでもOK。今回使ったパソコンは32GB、グラフィックボードをつけている。だから重く感じなかったのかもしれない。2025年最後の日に「ローカルLLM」の世界を覗けたことは今年の収穫ですね。
この「ローカルLLM」は完全無料で商用利用も可能です。電気代は必要ですが。
LM Studioとは？主要機能や使い方、商用利用について徹底解説
https://www.ai-souken.com/article/what-is-lm-studio
LM StudioでローカルAIがもっと身近に！セットアップ方法と使用感は？ - YouTube
https://www.youtube.com/watch?v=AUCwX1ULM_M
LM Studio - Local AI on your computer
https://lmstudio.ai/
Ollama
https://ollama.com/
gpt-oss playground
gpt-oss（公開している場所）Hugging Faceアカウントでログインして使う
https://gpt-oss.com/
