1. ローカルAIを動かすためのハードウェア分類と実行可能なモデル [0]

thumbnail 手持ちのハードウェアのメモリ容量に応じてデバイスを分類し、それぞれのデバイスでどのようなAIモデルが実行できるかを解説する。

1.1. チップ（32KB〜8MB RAM）: 小規模なAIモデルの実行 [4]

  1. Arduino Uno (32KB RAM): AIモデルは実行できない [11]
    1. Arduino UnoはRAMがわずか32KBであり、AIモデルを直接動かすことはできない [12]
    2. しかし、Wi-Fi機能を備えているため、より大きなデバイスと接続することでローカルAIに活用できる [20]
  2. ESP32S3 (8MB RAM): TinyStoriesモデルの実行 [24]
    1. ESP32S3はRAMが8MBあり、20ドル程度で購入できる安価なデバイスである [25]
    2. このデバイスでは、小さな物語を生成する「TinyStories」モデル（1MBと3MB）を快適に動かせる [31]
    3. TinyStoriesモデルは次に来る単語を予測する基礎的な機能しか持たないが、これを基盤としてクールなプロジェクトを構築できる [49]
    4. ただし、チャットのような会話や、音声・音楽・ビデオ・画像などのマルチモーダルモデルは実行できない [51]

1.2. ミニコンピューター（8GB RAM）: 音声認識・言語モデル・視覚言語モデルの実行 [53]

  1. Raspberry Pi 5 (8GB RAM): 複数のAIモデルを連携して実行可能 [54]
    1. Raspberry Pi 5はLinux OSで動作し、メモリやファイルシステムの管理、複数のプログラム実行が可能な本格的なミニコンピューターである [55]
    2. 音声認識AIモデル「Whisper」、大規模言語モデル「Quiet 3.7B」、軽量な音声合成モデル「Piper」を連携させ、Piと会話できるシステムを構築できる [69]
    3. ウェブカメラを接続し、軽量な視覚言語モデル「MoonDream」で画像を解析し、Piperで説明させることも可能である [75]
    4. マイクロから小型の大規模言語モデル、軽量な視覚言語モデル、音声合成モデル、小規模な音声認識モデルを簡単に動かせる [84]
    5. 中規模のLLMやコード生成用の小型モデルもギリギリ実行可能である [85]
    6. しかし、GPUがないため、画像・音楽・動画生成は絶望的に時間がかかり、実質不可能である [87]
  2. iPhone 16 (8GB RAM): 高速な画像解析と画像生成が可能 [54]
    1. iPhone 16はiOSで動作するが、Appleが各アプリのRAM使用量を4〜5GBに制限しているため、Raspberry Piで可能な中型モデルは動かせない [100]
    2. Googleの「AI Edge Gallery」から「Gemma 4」モデルをダウンロードすることで、10億から40億パラメーター範囲の小型ビジュアル言語モデルを快適に動かし、画像解析をスムーズに行える [105]
    3. 「Draw Things」アプリをダウンロードすれば、10億パラメーター規模の小型画像生成モデル（例: Stable Diffusion 1.5）を快適に実行できる [107]
    4. 「Whisper Large」のような中型から大型の音声認識モデルや、あらゆるテキスト読み上げモデルも快適に実行可能である [109]
    5. 「Ultralytics」アプリで「YoloV1」モデルをダウンロードすれば、物体認識によるシーン理解が可能となり、顔認証や自動運転の基盤技術として非常に有用である [110]

2. AIモデル実行におけるハードウェアの役割：レストランの厨房の比喩 [62]

thumbnail

AIモデルがデバイス上でどのように動作するかを、レストランの厨房に例えて説明する。

2.1. 厨房の構成要素とAIハードウェアの対応 [118]

  1. ストレージ（大型冷凍庫と保管スペース）: すべての食材や道具を保管する場所 [120]
    1. AIモデルにおいては、モデル自体を保存する場所を指す [148]
  2. RAM（調理台）: 今作りたい料理のために必要な食材を並べる場所 [122]
    1. AIモデルにおいては、モデルを読み込み、処理のために一時的に置く場所を指す [148]
  3. CPU（総料理長）: 非常に熟練しており、どんな料理でも作れるが一人しかいない [124]
    1. AIモデルにおいては、モデルの処理を指示し、最も難しい部分をこなす主要な演算装置を指す [149]
  4. GPU（厨房を支える料理人たち）: 経験や万能さでは劣るが、数が多いので手助けしてくれる [128]
    1. AIモデルにおいては、CPUの指示を受けてモデルの一部を並行して処理する演算装置を指す [150]
  5. NPU（壁に固定された専用マシン）: 玉ねぎだけを刻む機械のように、一つの作業を非常に上手く、速くこなし、電気もほとんど消費しない [130]
    1. AIモデルにおいては、特定のAI処理を高速かつ効率的に行う専用のハードウェアを指す [151]
  6. メモリバス（ベルトコンベア）: 調理台にある食材をシェフや料理人、機械に運び、料理へと仕上げていく [135]
    1. AIモデルにおいては、RAMからCPU、GPU、NPUへデータを転送する経路を指す [149]
  7. モデルの実行プロセス: 料理を作るプロセスと同様 [137]
    1. モデルをストレージからRAMに読み込み、メモリバスでCPUに運び、CPUがGPUやNPUに処理を指示してモデルが質問に答えられるようになる [147]
    2. モデルを動かすたびにこのプロセス全体を経る必要がある [155]

2.2. RAM容量と帯域幅がAIモデルの性能に与える影響 [157]

  1. RAM容量と帯域幅の違い: Raspberry PiとiPhoneの性能差の理由 [157]
    1. Raspberry PiとiPhoneはどちらも8GBのRAMを搭載しているが、実行できるモデルの種類や速度が異なる [158]
    2. これは、RAM容量は同じでも、帯域幅（メモリバスの性能）が異なるためである [160]
  2. Raspberry Piの性能が遅い理由: 狭いメモリバスとCPUのみの構成 [161]
    1. 大規模言語モデルの処理は、RAMから演算装置へのデータ転送速度（帯域幅）がボトルネックとなる [161]
    2. Raspberry Piのメモリバスは非常に狭く低速であるため、データ転送に時間がかかる [162]
    3. さらに、Raspberry PiにはGPUやNPUがなくCPUしか搭載されていないため、すべての処理をCPU一人で行う必要があり、動作が非常に遅くなる [165]
  3. iPhoneの性能が速い理由: CPU、GPU、NPUの全てを搭載 [168]
    1. iPhoneにはCPU、GPU、NPUがすべて揃っているため、高速に処理ができる [168]
  4. 画像生成にGPUが不可欠な理由: 高負荷な処理には専用の演算能力が必要 [171]
    1. 画像、動画、音楽の生成は非常に負荷の高い処理であり、CPUだけではパワーが足りない [172]
    2. iPhoneのようにGPUが搭載されているデバイスでなければ、画像や動画の生成は不可能である [174]

3. パーソナルコンピューターからGPUサーバーまで：より大規模なAIモデルの実行 [201]

thumbnail

パーソナルコンピューターからホームサーバー、そして専用GPUサーバーへとデバイスの規模を拡大し、それぞれで実行可能なAIモデルの種類と性能を解説する。

3.1. パーソナルコンピューター（8GB〜32GB RAM）: 多様なAIモデルの実行 [201]

  1. MacBook Pro (32GB RAM): ほぼあらゆるカテゴリーのAIモデルを実行可能 [202]
    1. 32GB RAMのMacBook Proは、大規模言語モデル、コーディングモデル、視覚分析のためのビジュアル言語モデル、画像生成、動画生成、テキスト読み上げ、音声認識、オーディオ生成、ボイスクローニング、音楽生成など、ほぼあらゆるカテゴリーのAIモデルをローカルで実行できる [209]
    2. これらのモデルは単独で実行できるだけでなく、様々なソフトウェアと組み合わせることで多様な使い方が可能である [212]
    3. 例えば、Qwen 3の14B、16B、32Bといった中・大規模モデルや、Qwen 3Coder 30Bのようなコーディングモデルもローカルで実行できる [213]
    4. 画像生成にはFBoxDが推奨される [215]
  2. RAM容量に応じた実行可能モデルの計算式: 手持ちのPCで動かせるモデルの目安 [217]
    1. 多くの人が所有する8GBや16GBのRAMを搭載したノートパソコンでもAIモデルは実行可能である [223]
    2. 実行可能なモデルのパラメータ数を計算する式は以下の通りである [227]
      1. マシンの総RAM容量から25%を差し引く（他の用途で使われる分） [228]
      2. 残りの利用可能なRAM容量を0.6で割る [232]
    3. 例として、32GB RAMのMacBook Proの場合、利用可能なRAMは24GBとなり、0.6で割ると40となるため、最大400億パラメータのモデルが搭載可能である [233]
    4. この計算は非常に大まかな目安であり、AIチャットボットに直接尋ねるのも有効な方法である [238]

3.2. ホームサーバー（64GB〜128GB RAM）: 大規模モデルの高速実行と複数モデルの同時稼働 [242]

  1. ホームサーバーの利点: 常時稼働と大容量・高帯域幅 [250]
    1. ホームサーバーは、ノートパソコンのように持ち運んだり閉じたりする必要がなく、常に稼働しているため、24時間365日AIモデルを実行できる [251]
    2. 一般的に、ホームサーバーデバイスはRAM容量と帯域幅が大きいため、より大きなモデルをより高速に実行できる [257]
  2. Mac Studio (64GB RAM): 大規模言語モデルや画像生成モデルの実行 [259]
    1. Mac Studioは64GBのRAMを搭載しており、ローカルAIエージェントや他のデバイスとの連携に利用できる [260]
    2. 例えば、Arduino Uno R4をMac Studioに接続し、Mac Studio上のGPT-3.6Bモデルを使って励ましのメッセージを表示させることが可能である [267]
    3. Mac Studioの主な目的は、新しいカテゴリーのAIモデルを解禁することではなく、より大きなモデルを動かし、より高品質な応答をより速く得ることである [272]
    4. 270億から320億パラメータ規模の大規模言語モデル、大規模なコードモデル、画像生成モデル、音楽生成モデルを実行できる [274]
    5. 動画生成に関しては、中規模モデルも実行可能だが、動作は低速である [275]
  3. AMD Ryzen AI Halo (128GB RAM): 超大規模モデルの快適な実行と複数モデルの並行作業 [279]
    1. AMD Ryzen AI Haloは広告上128GBのRAMを搭載しているが、実質的な利用可能メモリは約96GBである [279]
    2. 70GBクラスの大型モデルや、100GBから250GBクラスのフロンティアモデルを快適に動かせる [280]
    3. Llama 3.370BやGPT-OSS 120B、DeepSpeed Coder V2のような大型コードモデルも問題なく動作する [281]
    4. 大容量メモリのおかげで、複数の異なるモデルを同時に読み込み、並行して作業できる点が最大の利点である [287]
    5. ただし、このマシンは容量は非常に大きいものの、帯域幅が比較的小さいため、画像、動画、音楽の生成では処理が遅くなる [290]

3.3. GPUサーバー（24GB〜640GB VRAM）: 高速なマルチモーダル生成 [293]

  1. GPUの役割: 大勢の調理担当者による高速な並列処理 [293]
    1. GPUはレストランの厨房の例えでいう「大勢のラインクック（調理担当者）」のようなもので、数が多いため非常に素早く作業でき、高速な計算が可能である [294]
    2. これは、膨大な処理能力を必要とする音楽、画像、動画生成において特に重要である [296]
    3. GPUを増やすことは、演算人が増えるだけでなく、それぞれ専用の調理台（VRAM）と非常に幅の広いコンベアベルト（メモリバス）も手に入れることを意味する [305]
    4. これにより、材料を素早く手に入れ、処理を非常に高速に行い、モデルを素早く調理できる [309]
  2. RTX 4090 (24GB VRAM): 高速な画像・動画生成が可能 [321]
    1. RTX 4090はゲーミングPCに搭載されるような高性能GPUであり、画像生成や動画生成を非常に高速に行える [324]
    2. このGPUは容量は24GBと小さいが、帯域幅が非常に広いため、多くの生成やモデルの実行が可能である [330]
    3. しかし、非常に大きなサイズのモデルを収めるのは難しい [335]
  3. 8基のH100 GPU (640GB VRAM): 超大規模モデルとあらゆるマルチモーダル生成の実行 [337]
    1. 8基のH100 GPUは、640GBのRAM、大容量、そして非常に広い帯域幅を備えたトップクラスのデバイスである [338]
    2. 7000億パラメータ以上の超大規模言語モデルや、4800億パラメータ以上の超大規模コーディングモデル、視覚言語処理、そしてあらゆる種類のマルチモーダル生成を実行できる [342]
    3. Mini Max H3モデルを使えば、数分間の動画を非常に高速に生成できる [343]
    4. これは、モデル開発企業ではない一般の方が実行できる限界であり、クラウドAPIを通じて利用する最先端モデルに匹敵するレベルである [345]
    5. AMD Haloが大きな容量と低い帯域幅、RTX 4090が小さな容量と大きな帯域幅という特徴を持つ一方、H100 GPUは非常に大きな容量と非常に広い帯域幅の両方を兼ね備えている [347]