ローカルLLM環境を構築して使ってみました。インストールしたのはLM Studioです。インストール手順は簡単で、一般的なアプリと同様で特筆すべき点はありません。
インストール後に起動したら、まず左ペインの一番下にある”Model Search”をクリックして、好きなモデルをダウンロードします。利用しているPCのスペックに応じたモデルを選ぶ必要があります。クラウドAIにお薦めを聞いてみるのが良いでしょう。自分の環境はSurface Pro8の16GBメモリ版で、下記の2モデルをダウンロードしてみました。数GB単位なので、そこそこの転送時間とストレージの容量を食います。
- google/gemma-4-e4b
- phi-3-mini-4k-instruct
応答速度は、実用できないレベルではないものの、応答まで数十秒から1分程度掛かります。何度も繰り返し壁打ちする使い方だとストレスを感じそうです。AIエージェントの頭脳に使えるかな、と考えていたのですが、この応答速度だと厳しいと思います。
賢さの方ですが、”gemma-4-e4b”は実用的なレベルです。知識などはクラウドAIに及びませんが、応答が大きく破綻することはありません。一方でより軽量なモデルである”phi-3-mini-4k-instruct”は、質問内容によってはランダムな文字列を出力するなど暴走することがあり、利用に工夫が必要そうです。軽量といっても応答速度がそれほど速いわけでもなく、今のところ積極的に利用する動機はありません。
というわけで、この応答速度も踏まえてもローカルで活用したいシーンがあったら使いたいと考えていますが、今のところ使い道は思いついていないです。利用頻度などの面でクラウドAIでも問題がなければ、そちらを使った方がコストパフォーマンスが良いと思います。何となく分かっていた結論ですが、実際に自分で使ってみることで改めて理解できました。
ちなみにLM Studioにモデルをロードした状態だとメモリをかなり消費して、PC全体の動作が重くなります。ウィンドウを閉じてもタスクトレイに常駐していますので、アプリの終了などでメモリを解放すると良いです。