公開日：2026年10月28日
近年、AIの急速な普及によってGPUの需要が高まり、グラフィックボードの価格や在庫状況が気になるようになりました。
高性能なGPUを購入しようとすると、数万円では収まらない製品も珍しくありません。
特に、ChatGPTのような生成AIを自分のパソコンで動かしたいと考えている人にとって、GPU価格は大きな問題です。
しかし、本当に最新のGPUが必要なのでしょうか？
実は、数年前に発売された中古GPUでも、ローカルLLMを十分に動かせる可能性があります。
さらに、中古市場には一般向けのGeForceやRadeonだけでなく、企業のサーバーや研究施設で使用されていたTesla・Quadro・RTX Aシリーズなども流通しています。
中には、24GBや48GBという大容量VRAMを備えた製品も存在します。
今回は、そんな中古GPUをローカルLLM用途という観点から徹底比較します。
📌 この記事で紹介する内容
ローカルLLMとは、ChatGPTのような大規模言語モデルを、自分のパソコンやサーバー上で実行する仕組みです。
通常のクラウド型AIは、インターネットを通して外部のサーバーで処理します。
一方、ローカルLLMでは自分のパソコンがAIの処理を担当します。
✅ AIモデルをダウンロードしてローカルで実行できる
✅ 推論ごとの外部API料金を抑えられる
✅ 構成次第でオフライン利用が可能
✅ 機密情報を外部サービスへ送信せずに処理できる
✅ プログラムや業務ツールと連携できる
✅ モデル・設定・実行環境を自分で管理できる
ただし、モデルのダウンロード時や一部の連携機能ではインターネット接続が必要です。また、ローカル実行だから必ず安全というわけではなく、PC自体のセキュリティ対策も必要です。
| ソフトウェア | 特徴 |
|---|---|
| Ollama | コマンド操作やAPI連携が簡単 |
| LM Studio | GUIでモデルを管理しやすい |
| llama.cpp | 多様なGPU・CPUで実行できる |
| Open WebUI | ブラウザでAIチャットを利用できる |
| KoboldCpp | GGUFモデルを比較的簡単に扱える |
| vLLM | サーバー型の高速推論に向く |
| text-generation-webui | 多機能なWebインターフェース |
初心者であればOllamaやLM Studioから始めると取り組みやすいでしょう。
ただし、どのGPUでもすべてのソフトウェアが同じように動くわけではありません。
ここは非常に重要です。
ゲーム用GPUは、主に画面を描画する性能が重視されます。
一方、ローカルLLMではAIモデルをメモリに格納し、膨大な演算を実行する性能が重要になります。
| 順位 | 項目 | 重要度 |
|---|---|---|
| 1 | VRAM容量 | ⭐⭐⭐⭐⭐ |
| 2 | ソフトウェア互換性 | ⭐⭐⭐⭐⭐ |
| 3 | メモリ帯域幅 | ⭐⭐⭐⭐⭐ |
| 4 | 演算性能 | ⭐⭐⭐⭐ |
| 5 | 消費電力・冷却 | ⭐⭐⭐⭐ |
| 6 | 中古価格 | ⭐⭐⭐⭐ |
| 7 | 映像出力性能 | ⭐ |
※重要度はLLM推論用途を想定した一般的な目安です。
VRAMとは、GPUが使用する専用メモリのことです。
AIモデルをGPU上に読み込む際に必要になります。
一般的に、VRAMが大きいほど、より大きなモデルや長いコンテキストを扱いやすくなります。
| VRAM | 使用するAIモデルの目安 | 用途 |
|---|---|---|
| 2GB | 1B級 | 実験向け |
| 4GB | 1B〜3B級 | 小型AI |
| 6GB | 3B〜7B級 | 軽量チャット |
| 8GB | 7B〜8B級 | AI入門 |
| 10GB | 8B〜14B級の一部 | 中小型AI |
| 12GB | 8B〜14B級 | 実用的なAI環境 |
| 16GB | 14B〜20B級 | 中規模AI |
| 20GB | 20B〜30B級の一部 | 大きめのモデル |
| 24GB | 27B〜32B級 | 本格的なAI環境 |
| 32GB | 32B級以上 | 大規模モデル |
| 48GB | 70B級の4bit量子化など | 高度なAI用途 |
| 80GB | 大規模AI・複数モデル | 業務・研究用途 |
⚠️ この表は4bit程度の量子化を想定した概算です。
モデルの構造、量子化方式、コンテキスト長、KVキャッシュ、GPU側の作業領域によって必要容量は変わります。
また、VRAMを超えたモデルでもCPUとGPUを組み合わせて実行できる場合があります。
メモリ帯域幅とは、GPUがメモリからデータを読み出したり、書き込んだりできる速度のことです。
例えば、24GBのVRAMを搭載したGPUでも、メモリ帯域幅が違えば生成速度に差が出ます。
| GPU | VRAM | 帯域幅 |
|---|---|---|
| Tesla P40 | 24GB | 約346GB/s |
| RTX 3060 | 12GB | 約360GB/s |
| RTX 3090 | 24GB | 約936GB/s |
| RTX 3090 Ti | 24GB | 約1,008GB/s |
同じ24GBのTesla P40とRTX 3090でも、メモリ帯域幅は大きく異なります。
ただし、実際のLLM性能は帯域幅だけでは決まりません。GPUの演算性能やTensor Core、ソフトウェアによる最適化も影響します。
まずは予算1万円台です。
「とりあえずローカルAIを動かしてみたい」という人向けの価格帯になります。
ただし、この価格帯のGPUは古い製品が多く、VRAM容量やソフトウェア対応に制約があります。
| GPU | VRAM | 中古掲載価格例 | LLM適性 |
|---|---|---|---|
| GTX 1660 SUPER | 6GB | 12,980円〜 | 🟡 小型モデル |
| RX 590 | 8GB | 12,980円〜 | 🔴 制約大 |
| RX 6500 XT | 4GB | 14,480円〜 | 🔴 容量不足 |
| RX 5600 XT | 6GB | 14,980円〜 | 🟡 実験用 |
| RX 5700 | 8GB | 15,980円〜 | 🟡 Vulkan向け |
※価格は過去の調査で確認した掲載例です。現在の販売在庫・最安値を保証するものではありません。
GTX 1660 SUPERは、ゲーム用途でも人気があったGPUです。
VRAMは6GBと決して多くありませんが、小型の量子化LLMを試すには利用できる場合があります。
メリットはNVIDIA製であることです。
対応する実行環境を利用すればCUDAによるGPU処理が可能です。
ただしTensor Coreを搭載していないため、RTXシリーズと同じような高速化は期待できません。
8GBというVRAM容量は魅力的です。
ただしAMDの旧世代GPUであるため、最新のROCm環境での利用には制約があります。
Vulkan対応の推論ソフトウェアで利用する選択肢はありますが、事前の動作確認が必要です。
手軽に始めたいならGTX 1660 SUPER。
VRAM容量を優先し、ソフトウェアの検証も楽しめるならRX 5700が候補です。
ただし、より大きなAIモデルを使いたいなら、最初から予算を増やすことも検討しましょう。
2万円台になると8GBのVRAMを持つGPUが中心になります。
この価格帯では、旧世代のRTXシリーズも選択肢に入ります。
| GPU | VRAM | 中古掲載価格例 | LLM適性 |
|---|---|---|---|
| RX 5700 XT | 8GB | 22,980円〜 | 🟡 |
| RTX 2070 SUPER | 8GB | 24,980円〜 | 🟢 |
| RX 6600 | 8GB | 26,980円〜 | 🟢 |
| RX 6600 XT | 8GB | 27,980円〜 | 🟡 |
| RX 6650 XT | 8GB | 29,980円〜 | 🟡 |
※過去の中古掲載例です。最新の在庫状況とは異なる場合があります。
RTX 2070 SUPERはTuring世代のGPUです。
Tensor Coreを備えているため、GTX 1660 SUPERなどと比較するとAI向けの演算機能が充実しています。
さらにNVIDIA製なので、CUDA対応ソフトウェアを使いやすい点もメリットです。
ただしVRAMは8GBです。
7B〜8B級のモデルが中心となり、より大きいモデルを扱う場合はCPUとの併用が必要になる可能性があります。
RX 6600は比較的消費電力の少ないGPUです。
長時間の運用や省電力を重視する場合に魅力があります。
一方、NVIDIAのCUDA専用ソフトウェアは利用できません。
Vulkanなどを利用する実行環境が前提となります。
WindowsでCUDAを利用したいならRTX 2070 SUPER。
消費電力やゲームとの兼用を重視するならRX 6600。
ただしローカルLLM専用として考えると、VRAM 8GBという制約は大きいため、3万円台以上も比較したいところです。
個人的に注目したいのが、この価格帯です。
探し方によっては12GBや16GBのGPUが候補に入ります。
| GPU | VRAM | 中古掲載価格例 | LLM適性 |
|---|---|---|---|
| RX 7600 | 8GB | 32,480円〜 | 🟡 |
| RTX 2060 12GB | 12GB | 35,980円〜 | 🟢 |
| RTX 3060 Ti | 8GB | 35,980円〜 | 🟡 |
| Arc B580 | 12GB | 35,800円〜 | 🟢 |
| Arc A770 | 16GB | 39,980円〜 | 🟢 |
※RTX 2060 12GB、Arc B580、Arc A770などは以前確認した掲載例であり、同額の在庫を今回再確認できたわけではありません。RTX 3060 Tiは今回の再調査でも3万円台の中古掲載が確認されています。
Arc A770は、今回の中古GPU調査で注目したい製品のひとつです。
最大の魅力は16GBのVRAMです。
NVIDIAのRTX 3060は一般的な12GBモデルでも4万円台になることがありますが、Arc A770の16GBモデルを3万円台で見つけられれば、VRAM容量では有利になります。
ただし注意点もあります。
Intel ArcはCUDAに対応していません。
利用する際には、VulkanやSYCLに対応したLLMソフトウェアを選ぶ必要があります。
✅ 16GBの大容量VRAM
✅ 14B級モデルを扱いやすい
✅ VulkanやSYCLによる推論が可能
✅ ゲーム用途にも利用できる
❌ CUDA専用ソフトウェアは使えない
❌ AIツールによって対応状況が異なる
❌ NVIDIA向けの情報をそのまま流用できない
あまり知られていないかもしれませんが、RTX 2060には12GBモデルが存在します。
通常のRTX 2060は6GBですが、12GBモデルならLLM用途での実用性が高まります。
ただしRTX 3060よりも古く、性能も低いため、価格差によって判断する必要があります。
VRAM容量を優先するならArc A770 16GB。
CUDAの使いやすさを優先するならRTX 2060 12GB。
3万円台は、中古GPUを利用したローカルLLM環境の構築を本格的に検討できる価格帯です。
予算を4万円台以上にすると、より実用的なGPUが候補になります。
| GPU | VRAM | 中古掲載価格例 |
|---|---|---|
| RTX 3060 | 12GB | 40,980〜49,980円 |
| RX 6800 | 16GB | 43,000〜49,500円 |
| Arc A770 | 16GB | 43,000〜51,000円 |
| Tesla P40 | 24GB | 42,800〜57,000円 |
| RX 6800 XT | 16GB | 54,980〜56,980円 |
| RTX 3080 Ti | 12GB | 72,900〜82,980円 |
| RTX A2000 | 12GB | 74,800円（過去掲載） |
| RTX 3090 | 24GB | 219,980〜239,980円 |
| Quadro RTX 8000 | 48GB | 342,980〜366,980円（過去掲載） |
⚠️ いずれも調査時の掲載価格例です。中古品は状態、付属品、保証期間によって価格が大きく変わります。過去掲載と記載したものは現在の購入可能価格とは限りません。
RTX 3060 12GBは、ローカルLLM向けの中古GPUとして非常に扱いやすい製品です。
CUDAに対応しており、Ollamaやllama.cppなどの情報も豊富です。
Windows環境で余計なトラブルを避けたい場合、特におすすめしやすいGPUです。
RX 6800は16GBのVRAMを備えたGPUです。
ゲーム性能だけでなく、VRAM容量を活かしたLLM用途でも魅力があります。
ただしAMD GPUでは、使用する推論ソフトウェアのバックエンドとドライバーの組み合わせを確認してください。
RTX 3090は、ローカルLLM用GPUとして長く注目されてきたモデルです。
24GBのVRAMと約936GB/sのメモリ帯域幅を備えています。
30B〜32B級モデルの4bit量子化版も視野に入ります。
一方、消費電力や発熱が大きく、中古価格も高いため、無条件におすすめできる製品ではありません。
ここからは、一般向けGPUを世代別に整理します。
評価はゲーム用途ではなく、ローカルLLMへの適性を基準にしています。
評価基準
| GPU | VRAM | LLM評価 |
|---|---|---|
| RTX 3090 Ti | 24GB | ⭐⭐⭐⭐⭐ |
| RTX 3090 | 24GB | ⭐⭐⭐⭐⭐ |
| RTX 3080 Ti | 12GB | ⭐⭐⭐⭐ |
| RTX 3080 12GB | 12GB | ⭐⭐⭐⭐ |
| RTX 3080 10GB | 10GB | ⭐⭐⭐ |
| RTX 3070 Ti | 8GB | ⭐⭐⭐ |
| RTX 3070 | 8GB | ⭐⭐⭐ |
| RTX 3060 Ti | 8GB | ⭐⭐⭐ |
| RTX 3060 12GB | 12GB | ⭐⭐⭐⭐⭐ |
| RTX 3060 8GB | 8GB | ⭐⭐⭐ |
| RTX 3050 8GB | 8GB | ⭐⭐⭐ |
| RTX 3050 6GB | 6GB | ⭐⭐ |
RTX 30シリーズでは、特に3090と3060 12GBが魅力的です。
| GPU | VRAM | LLM評価 |
|---|---|---|
| RTX 2080 Ti | 11GB | ⭐⭐⭐⭐ |
| RTX 2080 SUPER | 8GB | ⭐⭐⭐ |
| RTX 2080 | 8GB | ⭐⭐⭐ |
| RTX 2070 SUPER | 8GB | ⭐⭐⭐⭐ |
| RTX 2070 | 8GB | ⭐⭐⭐ |
| RTX 2060 SUPER | 8GB | ⭐⭐⭐ |
| RTX 2060 12GB | 12GB | ⭐⭐⭐⭐ |
| RTX 2060 6GB | 6GB | ⭐⭐ |
RTX 20シリーズはTensor Coreを搭載しており、中古価格が安ければまだ候補になります。
| GPU | VRAM | LLM評価 |
|---|---|---|
| GTX 1660 Ti | 6GB | ⭐⭐ |
| GTX 1660 SUPER | 6GB | ⭐⭐⭐ |
| GTX 1660 | 6GB | ⭐⭐ |
| GTX 1650 SUPER | 4GB | ⭐⭐ |
| GTX 1650 | 4GB | ⭐⭐ |
| GTX 1630 | 4GB | ⭐ |
GTX 16シリーズにはRTXシリーズのようなTensor Coreがありません。
| GPU | VRAM | LLM評価 |
|---|---|---|
| GTX 1080 Ti | 11GB | ⭐⭐ |
| GTX 1080 | 8GB | ⭐⭐ |
| GTX 1070 Ti | 8GB | ⭐⭐ |
| GTX 1070 | 8GB | ⭐⭐ |
| GTX 1060 6GB | 6GB | ⭐ |
| GTX 1060 5GB | 5GB | ⭐ |
| GTX 1060 3GB | 3GB | ⭐ |
| GTX 1050 Ti | 4GB | ⭐ |
| GTX 1050 | 2GB/3GB | ⭐ |
| GT 1030 | 2GB | ⭐ |
| GT 1010 | 2GB | ⭐ |
GTX 10シリーズはPascal世代です。
CUDA 13以降の新しい開発環境では対応が大きく制限されるため、LLM用途で新たに購入する際は慎重な判断が必要です。
GTX 980 Ti / GTX 980 / GTX 970 / GTX 960 / GTX 950
GTX 780 Ti / GTX 780 / GTX 770 / GTX 760 Ti / GTX 760 / GTX 750 Ti / GTX 750 / GT 740 / GT 730 / GT 720 / GT 710
GTX 690 / GTX 680 / GTX 670 / GTX 660 Ti / GTX 660 / GTX 650 Ti BOOST / GTX 650 Ti / GTX 650 / GT 640 / GT 630 / GT 620 / GT 610
GTX 590 / GTX 580 / GTX 570 / GTX 560 Ti / GTX 560 / GTX 550 Ti / GT 545 / GT 530 / GT 520 / GT 510
GTX 480 / GTX 470 / GTX 465 / GTX 460 / GTS 450 / GT 440 / GT 430 / GT 420
このほかにGeForce 200・9・8シリーズなども存在します。
⚠️ GTX 900シリーズ以前の多くは、現代のLLM用途で新規購入するメリットがほとんどありません。
※この一覧は主要GPUの型番を対象としています。OEM専用版、モバイル版、特殊な派生モデルをすべて網羅するものではありません。
AMDは大容量VRAMを備えた製品が比較的多く存在します。
しかし、NVIDIAのCUDAと同じソフトウェアをそのまま使えるわけではありません。
| GPU | VRAM | LLM評価 |
|---|---|---|
| RX 7900 XTX | 24GB | ⭐⭐⭐⭐⭐ |
| RX 7900 XT | 20GB | ⭐⭐⭐⭐ |
| RX 7900 GRE | 16GB | ⭐⭐⭐⭐ |
| RX 7800 XT | 16GB | ⭐⭐⭐⭐ |
| RX 7700 XT | 12GB | ⭐⭐⭐ |
| RX 7650 GRE | 8GB | ⭐⭐ |
| RX 7600 XT | 16GB | ⭐⭐⭐⭐ |
| RX 7600 | 8GB | ⭐⭐⭐ |
| GPU | VRAM | LLM評価 |
|---|---|---|
| RX 6950 XT | 16GB | ⭐⭐⭐⭐ |
| RX 6900 XT | 16GB | ⭐⭐⭐⭐ |
| RX 6800 XT | 16GB | ⭐⭐⭐⭐ |
| RX 6800 | 16GB | ⭐⭐⭐⭐ |
| RX 6750 XT | 12GB | ⭐⭐⭐ |
| RX 6700 XT | 12GB | ⭐⭐⭐ |
| RX 6700 | 10GB | ⭐⭐⭐ |
| RX 6650 XT | 8GB | ⭐⭐⭐ |
| RX 6600 XT | 8GB | ⭐⭐⭐ |
| RX 6600 | 8GB | ⭐⭐⭐ |
| RX 6500 XT | 4GB/8GB | ⭐⭐ |
| RX 6400 | 4GB | ⭐ |
| GPU | VRAM | LLM評価 |
|---|---|---|
| RX 5700 XT | 8GB | ⭐⭐ |
| RX 5700 | 8GB | ⭐⭐ |
| RX 5600 XT | 6GB | ⭐⭐ |
| RX 5500 XT | 8GB | ⭐⭐ |
| RX 5500 XT | 4GB | ⭐ |
| RX 5300 | 3GB | ⭐ |
RX 590 / RX 590 GME / RX 580 8GB / RX 580 4GB / RX 570 8GB / RX 570 4GB / RX 560 / RX 550 / RX 540
RX 480 / RX 470 / RX 460
| GPU | VRAM | LLM評価 |
|---|---|---|
| Radeon VII | 16GB | ⭐⭐ |
| RX Vega 64 | 8GB | ⭐ |
| RX Vega 56 | 8GB | ⭐ |
| Vega Frontier Edition | 16GB | ⭐⭐ |
R9 Fury X / R9 Fury / R9 Nano / R9 390X / R9 390 / R9 380X / R9 380 / R9 370X / R9 370 / R9 360 / R7 370 / R7 360 / R7 350 / R7 340
R9 295X2 / R9 290X / R9 290 / R9 285 / R9 280X / R9 280 / R9 270X / R9 270 / R9 265 / R7 265 / R7 260X / R7 260 / R7 250X / R7 250 / R7 240
さらに古いHD 7000・6000・5000・4000シリーズなども存在します。
⚠️ 古いAMD GPUは、VRAM容量が十分でも最新ROCmに対応していない場合があります。Vulkanでの利用を検討する際も、対象GPUとソフトウェアの対応を確認しましょう。
Intel ArcはNVIDIAやAMDほど歴史が長くありませんが、ローカルLLMの候補として無視できません。
| GPU | VRAM | LLM評価 |
|---|---|---|
| Arc B580 | 12GB | ⭐⭐⭐⭐ |
| Arc B570 | 10GB | ⭐⭐⭐ |
| Arc A770 | 16GB | ⭐⭐⭐⭐ |
| Arc A770 | 8GB | ⭐⭐⭐ |
| Arc A750 | 8GB | ⭐⭐⭐ |
| Arc A580 | 8GB | ⭐⭐⭐ |
| Arc A380 | 6GB | ⭐⭐ |
| Arc A310 | 4GB | ⭐ |
特にArc A770 16GBは中古価格次第で有力です。
CUDA専用ソフトウェアは使用できません。
また、古いマザーボードやCPU環境ではResizable BARの対応状況も重要になります。
ここからは、一般のゲーミングPCではあまり見かけないGPUを紹介します。
企業のワークステーション、研究施設、データセンターなどで使われていた製品です。
通常のグラフィックボードとは違う特徴を持つものもあります。
| GPU | VRAM | 帯域幅 |
|---|---|---|
| RTX A6000 | 48GB | 768GB/s |
| RTX A5500 | 24GB | 768GB/s |
| RTX A5000 | 24GB | 768GB/s |
| RTX A4500 | 20GB | 640GB/s |
| RTX A4000 | 16GB | 448GB/s |
| RTX A2000 | 12GB | 288GB/s |
| RTX A2000 | 6GB | 288GB/s |
RTX Aシリーズは、ワークステーション向けのGPUです。
例えばRTX A4000は16GBのVRAMを備え、定格ボード消費電力が140Wと比較的低いことが特徴です。
そのため、省電力のAI専用マシンを構築する際にも魅力があります。
ただし、中古出品数が少ないため、価格が大きく変動することがあります。
| GPU | VRAM | 帯域幅 |
|---|---|---|
| Quadro RTX 8000 | 48GB | 672GB/s |
| Quadro RTX 6000 | 24GB | 672GB/s |
| Quadro RTX 5000 | 16GB | 448GB/s |
| Quadro RTX 4000 | 8GB | 416GB/s |
Quadro RTX 8000は48GBという非常に大きなVRAMを備えています。
70B級の4bit量子化モデルなどを動かす構成も視野に入ります。
ただし、本体価格が高額で、中古品でも安価とは限りません。
| GPU | VRAM | 帯域幅 | LLM評価 |
|---|---|---|---|
| A100 | 40GB/80GB | 最大約2TB/s | ⭐⭐⭐⭐⭐ |
| A40 | 48GB | 696GB/s | ⭐⭐⭐⭐⭐ |
| A30 | 24GB | 約933GB/s | ⭐⭐⭐⭐⭐ |
| A10 | 24GB | 600GB/s | ⭐⭐⭐⭐ |
| Tesla T4 | 16GB | 320GB/s | ⭐⭐⭐⭐ |
| Tesla V100 | 16GB/32GB | 約900GB/s級 | ⭐⭐⭐ |
| Tesla P100 | 12GB/16GB | 最大約732GB/s | ⭐⭐ |
| Tesla P40 | 24GB | 約346GB/s | ⭐⭐ |
| Tesla P4 | 8GB | 約192GB/s | ⭐⭐ |
| Tesla M40 | 12GB/24GB | 約288GB/s | ⭐ |
| Quadro P6000 | 24GB | 約432GB/s | ⭐⭐ |
| Quadro M6000 | 12GB/24GB | 約317GB/s | ⭐ |
※インターフェースやメモリの仕様によって帯域幅が異なるモデルがあります。
中古LLM用途で話題になりやすいのがTesla P40です。
24GBのVRAMを備えています。
一方で、非常に重要な弱点があります。
❌ Pascal世代のため最新CUDA環境との互換性が限定的
❌ Tensor Core非搭載
❌ 映像出力端子がない
❌ 一般的なデスクトップGPUのような冷却ファンがない
❌ 電源コネクターが通常のゲーム用GPUと異なる
❌ 追加の冷却装置や対応する配線が必要
❌ 新しい推論ソフトウェアが正常に動作しない可能性
そのため、P40が4万円台で売られていたとしても、必ずしもRTX 3060よりお得とは限りません。
Linuxを扱える人、自作PCの冷却や電源を改造できる人、古いCUDA環境を維持できる人などです。
一方、Windows 11に挿してOllamaをすぐ使いたい人には、RTX 3060などの一般向けGPUをおすすめします。
AMDにも業務向けGPUが存在します。
| GPU | VRAM | 帯域幅 |
|---|---|---|
| Radeon Pro W7900 | 48GB | 約864GB/s |
| Radeon Pro W7800 | 32GB/48GB | 約576GB/s級 |
| Radeon Pro W6800 | 32GB | 約512GB/s |
| Radeon Pro W6600 | 8GB | 約224GB/s |
| Radeon Pro VII | 16GB | 約1,024GB/s |
| GPU | VRAM | LLM評価 |
|---|---|---|
| Instinct MI100 | 32GB | ⭐⭐⭐ |
| Instinct MI60 | 32GB | ⭐⭐ |
| Instinct MI50 | 16GB/32GB | ⭐⭐ |
AMDの業務用GPUは大容量VRAMが魅力ですが、特にInstinctシリーズはサーバー用途を前提とした製品が多いため、購入前にハードウェア構成を確認してください。
ドライバー、ROCm、OS、冷却、電源などの対応が必要です。
ここでは、実際のAIモデルを例に考えてみます。
Ollamaで配布されているQwen3シリーズを基準にします。
| AIモデル | 配布モデルサイズ | GPU容量の目安 |
|---|---|---|
| Qwen3 0.6B | 523MB | 2〜4GB |
| Qwen3 1.7B | 1.4GB | 4GB |
| Qwen3 4B | 2.5GB | 4〜6GB |
| Qwen3 8B | 5.2GB | 8GB以上 |
| Qwen3 14B | 9.3GB | 12〜16GB |
| Qwen3 30B | 19GB | 24GB以上 |
| Qwen3 32B | 20GB | 24GB以上 |
| Qwen3 235B | 142GB | 複数の大容量GPU |
※モデルサイズと必要VRAMは同じではありません。実行時のメモリ使用量を別途考慮する必要があります。
Qwen3 4Bなど、小型モデルから始めるのが現実的です。
Qwen3 8Bの量子化モデルが候補になります。
ただし長い文章を扱う場合は、メモリ使用量に注意してください。
Qwen3 14Bの量子化モデルも候補になります。
ローカルLLMを実用的に使い始めるうえで、バランスの良い容量です。
14B級モデルを余裕を持って扱いやすくなります。
より大きいモデルも量子化方式やCPUとの併用次第で利用できます。
Qwen3 30Bや32Bクラスの4bitモデルも視野に入ります。
ローカルで高性能なAIを動かしたい人にとって、一つの大きな目標になる容量です。
70B級の4bit量子化モデルなども候補になります。
ただし、コンテキスト長や量子化方式によっては48GBで足りないこともあります。
ローカルLLMでは、GPUメーカーによって使用できるソフトウェアが変わります。
| 項目 | NVIDIA | AMD | Intel |
|---|---|---|---|
| CUDA | ✅ | ❌ | ❌ |
| ROCm | ❌ | ✅ 一部 | ❌ |
| Vulkan | 対応製品あり | 対応製品あり | 対応製品あり |
| SYCL | 構成次第 | 構成次第 | 対応環境あり |
| Windowsの扱いやすさ | 比較的高い | GPU次第 | GPU次第 |
| LLM用の情報量 | 豊富 | 増加中 | 増加中 |
CUDAはNVIDIAが提供するGPUコンピューティング基盤です。
多くのAIソフトウェアで広く使用されています。
WindowsでOllamaを扱うなら、比較的選びやすい環境です。
ただし、GTX 10シリーズなどの古いGPUでは、最新CUDAへの対応が終了している点に注意してください。
ROCmはAMDのGPU計算向けソフトウェア基盤です。
対応しているGPUやOSが限定されるため、特に中古の旧世代GPUでは確認が必要です。
VulkanはGPU処理に利用できるAPIの一つです。
対応する実行ソフトウェアを使うことで、AMDやIntel GPUでもLLMを実行できる可能性があります。
2026年のOllamaでは、Vulkanを利用したGPU対応の拡大も進んでいます。
ただし、すべてのGPUやモデルで同じ速度が出るわけではありません。
ローカルLLMでは、GPUの性能だけでなく、VRAM 1GBあたりの価格も比較材料になります。
計算式は以下のとおりです。
VRAM単価 ＝ GPUの中古価格 ÷ VRAM容量
過去に調査した掲載価格を例に計算すると、以下のようになります。
| GPU | VRAM | 参考価格 | VRAM単価 |
|---|---|---|---|
| GTX 1660 SUPER | 6GB | 12,980円 | 約2,163円/GB |
| RX 5700 XT | 8GB | 22,980円 | 約2,873円/GB |
| RTX 2070 SUPER | 8GB | 24,980円 | 約3,123円/GB |
| RX 6600 | 8GB | 26,980円 | 約3,373円/GB |
| Arc B580 | 12GB | 35,800円 | 約2,983円/GB |
| RTX 2060 12GB | 12GB | 35,980円 | 約2,998円/GB |
| Arc A770 | 16GB | 39,980円 | 約2,499円/GB |
| RTX 3060 | 12GB | 40,980円 | 約3,415円/GB |
| RX 6800 | 16GB | 43,000円 | 約2,688円/GB |
| Tesla P40 | 24GB | 42,800円 | 約1,783円/GB |
| RTX 3090 | 24GB | 219,980円 | 約9,166円/GB |
※各価格は中古掲載例であり、最新の購入可能価格ではありません。
この表だけを見るとTesla P40は非常に魅力的です。
しかし、VRAM単価が安いGPUほどローカルLLMに適しているわけではありません。
ソフトウェア互換性や生成速度、消費電力、追加費用なども考慮する必要があります。
中古GPUには、新品とは異なるリスクがあります。
中古品を購入する際は、正常動作が確認されているかを確認しましょう。
特に以下の点が重要です。
AI用途では、長時間GPUに負荷をかけることがあります。
中古GPUの冷却性能が低下している場合、温度上昇や性能低下の原因になります。
特にTeslaなどのサーバー向けGPUは、一般的なケースファンだけでは冷却が不十分な場合があります。
| GPU | 代表的な定格ボード消費電力 |
|---|---|
| GTX 1660 SUPER | 約125W |
| RTX 2070 SUPER | 約215W |
| RTX 3060 | 約170W |
| RTX A4000 | 約140W |
| Tesla P40 | 約250W |
| RTX 3090 | 約350W |
| RTX 3090 Ti | 約450W |
GPUの消費電力は、そのままPC全体の消費電力になるわけではありません。
CPUやメモリ、ストレージ、電源効率なども含めて考える必要があります。
古いGPUではドライバーやCUDAの対応期限に注意してください。
特にMaxwell・Pascal・Volta世代では、CUDA 13でアーキテクチャ向けのコンパイル・ライブラリサポートが終了しています。
既存の旧環境で動作することと、最新のソフトウェアで将来も利用できることは別問題です。
中古GPUは、可能な限り動作保証がある店舗から購入することをおすすめします。
特に高額なGPUでは保証期間や返品条件が重要です。
購入前に、ケースに入るか、電源容量は十分か、補助電源端子が合うか確認しましょう。
サーバー用GPUでは、専用の電源ケーブルや冷却構造が必要なこともあります。
ここでは、使いやすさ・VRAM容量・性能を総合して評価します。
価格は購入時期によって変わるため、絶対的な順位ではありません。
| 順位 | GPU | VRAM | おすすめ理由 |
|---|---|---|---|
| 🥇 1位 | RTX 3060 | 12GB | Windows・CUDAで扱いやすい |
| 🥈 2位 | RTX 3090 | 24GB | 大容量と高速な推論性能 |
| 🥉 3位 | Arc A770 | 16GB | VRAM容量単価に期待 |
| 4位 | RTX A4000 | 16GB | 省電力の業務用GPU |
| 5位 | RX 6800 | 16GB | VRAM容量とゲーム性能 |
| 6位 | RTX 2060 | 12GB | 安価なCUDA環境の候補 |
| 7位 | Arc B580 | 12GB | 比較的新しいIntel GPU |
| 8位 | RTX 2070 SUPER | 8GB | 2万円台のCUDA候補 |
| 9位 | GTX 1660 SUPER | 6GB | 低予算の小型モデル向け |
| 10位 | Tesla P40 | 24GB | 改造・実験を楽しめる人向け |
RTX 3090は技術的には非常に魅力的ですが、中古価格が高騰している場合はコストパフォーマンスが悪化します。
一方、Arc A770やTesla P40はVRAM容量が魅力的でも、ソフトウェア対応面で手間が増える場合があります。
おすすめ候補：GTX 1660 SUPER 6GB
小型のAIモデルを試したい人向けです。
ただし、将来的に大きなLLMを使いたい場合はVRAM不足になりやすいでしょう。
おすすめ候補：RTX 2070 SUPER 8GB
8B級のモデルを中心に、CUDAを使ったローカルLLMを試したい人に向いています。
おすすめ候補：Arc A770 16GB / RTX 2060 12GB
VRAM容量を重視するならArc A770。
CUDAの扱いやすさを優先するならRTX 2060 12GBが候補になります。
おすすめ候補：RTX 3060 12GB / RX 6800 16GB
Windowsで手軽に導入したい人にはRTX 3060が有力です。
一方、16GBのVRAMを重視するならRX 6800も選択肢になります。
おすすめ候補：RTX A4000・RTX A2000など
価格次第ですが、業務用GPUを検討する余地があります。
ただし、同価格帯の新しい一般向けGPUとも比較することが重要です。
おすすめ候補：RTX 3090・RTX A5000・RTX A6000など
大容量VRAMを使う本格的なLLM環境を検討できます。
ただし旧世代GPUの中古価格が高くなっている場合、最新世代の新品GPUと比較することも忘れないようにしましょう。
ここではNVIDIA製GPUを使う場合の基本手順を紹介します。
NVIDIA公式サイトから、自分のGPUに対応するドライバーをダウンロードしてインストールします。
Ollama公式サイトからWindows版をインストールします。
WindowsのスタートメニューからPowerShellを起動します。
次のコマンドを実行します。
nvidia-smi
対応するNVIDIA GPUが認識されていれば、GPU名、ドライバー情報、VRAM使用量などが表示されます。
例えばQwen3 4Bの場合は以下です。
ollama run qwen3:4b
8Bモデルなら次のようにします。
ollama run qwen3:8b
14Bモデルなら次のとおりです。
ollama run qwen3:14b
別のPowerShellを開きます。
ollama ps
MODELやPROCESSORなどの情報が表示されます。
PROCESSORの欄を確認すると、GPUで動いているか、CPUとGPUを組み合わせているかを確認できます。
NVIDIA GPUなら、併せて nvidia-smi でVRAM使用量を確認できます。
※AMD・Intel GPUの場合はドライバーやバックエンドの設定が異なります。nvidia-smi は利用できません。
はい。
CPUのみで実行できるモデルもあります。
ただし、GPUを使用する場合よりも生成速度が低くなることがあります。
可能です。
小型モデルや量子化モデルを利用することで、4GBでも動かせる場合があります。
ただし、高性能なモデルを使うには制約があります。
対応する推論ソフトウェアでは、モデルを複数GPUへ分散配置できます。
ただし、2枚のGPUが自動的に1枚の大容量GPUとして認識されるわけではありません。
GPU間の通信速度やソフトウェア対応も重要です。
一般的には16GB GPUを1枚にするほうが扱いやすいことが多いです。
複数GPUでは、モデル分割やGPU間通信による制約が発生するためです。
ただし、安価なGPUを複数確保できる場合や特定の推論環境では、複数GPU構成にもメリットがあります。
ハードウェアやドライバーの条件を満たせば利用できる構成もあります。
ただし、最新CUDAや推論ソフトウェアとの互換性、電源、冷却などに問題が生じやすいため、初心者向けではありません。
4bit量子化モデルであれば、24GB前後のVRAMが一つの目安になります。
ただし、モデル構造やコンテキスト長によって必要容量が変わります。
世代だけではありません。
VRAM容量、メモリ帯域幅、演算性能、対応ソフトウェアなどを総合的に判断する必要があります。
利用できる場合はあります。
ただし、古いGPUは最新のドライバーやCUDA、推論ライブラリへの対応が終了することがあります。
長期間使用したい場合は、比較的新しい世代を選ぶほうが安心です。
GPUの価格が高くても、ローカルLLMを諦める必要はありません。
中古市場を探すと、1万円台からAIを試せるGPUが見つかる可能性があります。
さらに予算を増やせば、12GB・16GB・24GBのVRAMを搭載したGPUも選択肢になります。
今回の調査をまとめると、次のようになります。
RTX 3060 12GB
CUDAの使いやすさとVRAM容量のバランスが良好です。
Intel Arc A770 16GB
価格次第で非常に魅力的な候補になります。
RTX 3090 24GB
高いメモリ帯域幅と24GBのVRAMが魅力です。
RTX A4000 / RTX A5000 / RTX A6000
通常のゲーム用GPUとは異なる特徴があり、容量や消費電力の面で魅力があります。
Tesla P40 24GB
ただし、安いからという理由だけで購入するのはおすすめしません。
中古GPUを選ぶ際に、最も気をつけたいのは「性能が高いGPUを買うこと」と「自分が使いたいAIモデルを快適に動かせるGPUを買うこと」は必ずしも同じではないという点です。
ゲーム用途ではVRAM 8GBでも十分な場面があります。
しかし、ローカルLLMでは12GB・16GB・24GBという容量が大きな意味を持ちます。
一方で、容量だけが大きくても、ソフトウェア対応が終了していたり、推論速度が極端に低かったりすると、期待した環境にならないことがあります。
中古GPUの魅力は、かつて高額だった製品を安く入手できる可能性があることです。
最新GPUにこだわらず、旧世代のGeForce・Radeon・Intel Arc、さらには業務用GPUまで視野を広げることで、自分に合ったローカルAI環境を構築できるかもしれません。
重要なのは、価格・VRAM・推論速度・互換性の4つを比較することです。
これからローカルLLMを始めたい人も、すでにOllamaを使っていてGPUの増設を考えている人も、今回の一覧を参考に中古市場を探してみてはいかがでしょうか。
※中古GPUの掲載価格は2026年10月までの調査で確認した販売例をまとめたものです。現在価格・平均相場・在庫を保証するものではありません。各GPUの評価はローカルLLM推論用途を想定した目安で、実際の互換性や推論速度を保証するものではありません。
#ローカルLLM #中古GPU #グラフィックボード #Ollama #生成AI #自作PC #RTX3060 #RTX3090 #TeslaP40 #IntelArc #Radeon #CUDA #VRAM #AIパソコン #中古PC #AI環境構築