毎月届く「40万円のAPI請求書」への反逆

「自律型エージェントを24時間自走させ、全社ドキュメントのインデックスを回した結果、翌月のAPI請求書が40万円を超えていた。会社の経費でも胃が痛む。個人開発なら破産だ」

Redditの r/LocalLLaMA で7,400以上のUpvotesを集め、「今年最も実用的な自作AIハードウェアガイド」として殿堂入りを果たしたのが、欧州のフィンテック系スタートアップで働くインフラエンジニアの「RTX 4090デュアル・自宅ローカルLLMクラスタ構築記」です。

彼はAPI課金の底なし沼から抜け出すため、自腹でGeForce RTX 4090（24GB VRAM）を2枚購入。合計48GBの高速VRAMを搭載した専用タワーマシンを組み上げ、月額40万円の外部API課金を「月額2.4万円の電気代だけ」に圧縮することに成功しました。

48GB VRAMがもたらす「無制限の自由」

なぜRTX 4090の2枚差し（デュアルGPU）なのか？ 彼はその理由を明確な数字で解説しています。

【デュアルRTX 4090（48GB VRAM）で動かせるモデルたち】
・Llama 3.3 70B（Q4_K_M量子化）: 約40GB使用 ➔ 毎秒18トークンで快適推論
・DeepSeek-R1-Distill-Llama-70B: 約42GB使用 ➔ 複雑な推論チェーンが秒速で完結
・Qwen 2.5 Coder 32B（全層GPU乗り）: 約22GB使用 ➔ 毎秒45トークンで爆速コーディング
・埋め込みモデル（Embedding）: 常駐させてもVRAM消費はわずか1〜2GB

単一のRTX 4090（24GB）では、最高峰の70B（700億パラメータ）モデルを実用的な速度で動かすことは困難です。しかし、2枚をPCIeスロットに挿してVRAMを48GBに束ねた瞬間、「OpenAIのGPT-4oやClaude 3.5 Sonnetに匹敵する最高峰の知性」が、自分の部屋で完全にオフラインで動作し始めるのです。

ぶつかった「熱・電源・スロット幅」の3大物理トラップ

しかし、構築は平坦な道ではありませんでした。彼が体験した生々しい教訓は以下の通りです。

  1. 4スロット厚のグラボが入らない: 巨大な空冷ファンを備えた市販のRTX 4090は厚みが3.5〜4スロットあり、通常のマザーボードでは2枚挿すとファンが密着して窒息死する。ブロワーファン型または薄型モデル（水冷化）の選定が必須。
  2. 電源は最低1200W、推奨1500W: スパイク電力（瞬間的な負荷）で電源が落ちないよう、ATX 3.0対応のチタン認証1600W電源を導入。
  3. 部屋が暖房要らずになる（排熱対策）: 全開稼働時で約750W〜850W。夏場のエアコン設定と吸気ダクトの設計が生死を分ける。

::: insider-view

キュレーター 橘 蓮のインサイダー視点

「AIはクラウドで使うもの」という常識は、オープンウェイトモデル（DeepSeekやLlama）の急速な進化と量子化技術（GGUF / EXL2）の発展によって、静かに、しかし決定的に崩れ去りつつあります。
初期投資80万〜100万円は決して安くありませんが、機密保持の完全担保と、レートリミットなしの叩き放題環境を手に入れられると考えれば、本気の開発者にとっては数ヶ月で元が取れる最も費用対効果の高い設備投資です。
:::

「どれだけプロンプトを投げても、0円」という心理的解放感

「最も変わったのは、試行錯誤の心理的ハードルだ。APIの従量課金だと『こんなくだらない質問でトークンを消費していいのか？』と躊躇してしまう。しかしローカルマシンなら、一晩中エージェントを自走させて10万回ループさせようが、追加料金は1円もかからない」

彼の自宅サーバーは今、社内のコードレビューボット、社内Wikiの要約、そして夜間の自動テスト生成を24時間休むことなく処理し続けています。