自分のラップトップでLLMを実行する方法

MIT Technology ReviewのHow Toシリーズでは、ローカルで大規模言語モデル（LLM）を実行する方法を解説しています。Simon Willisonは、最悪のシナリオに備えた計画として、USBスティックにお気に入りのオープンウェイトのLLMをいくつかインストールし、人類文明が崩壊した際には、それらのモデルを使って再起動を手助けすることを考えています。彼は「これは奇妙で、縮小された壊れた版のWikipediaのようなもので、この小さなUSBスティックを使って社会を再構築できる」と述べています。

しかし、世界の終わりを考えているわけではなくとも、自分のデバイスでLLMを実行したい人々も増えています。Willisonは、ローカルLLMとソフトウェア開発について人気のブログを書いており、彼のコミュニティは活発です。例えば、r/LocalLLaMAというサブレディットは、自分のハードウェアでLLMを実行したい500,000人以上のメンバーを誇ります。

プライバシーを気にする人々や、大手LLM企業の支配から解放されたい人々、または単に実験が好きな人々にとって、ローカルモデルはChatGPTなどのWebベースのモデルに代わる魅力的な選択肢となっています。