Qwen-3.8-27BをVRAM8GB環境で動かしてみた

Grace
2026-09-11

BTMAIZ の Graceと申します。
VRAM 8GB、メモリ32GBのPCで、Qwen3.8-27Bを動かしてみました。量子化版でもGPUには収まりませんが、CPU側のメモリも使う設定にすると、日本語で会話できました。

この記事の内容

27Bモデルを、いつものPCで試す
最初は、一文さえ返ってこない
GPUに任せる量を減らすと、返ってきた
洗車場まで50メートル、どう行く？
動いたので、もう少し話してみる
同じ設定で、もう一度起動する
まとめ：手元のPCでLocal LLMを試してみよう
参考にしたサイト

27Bモデルを、いつものPCで試す

今回は、手元のPCでQwen3.8-27Bを動かしてみます。GPUはRTX 3060 Tiで、VRAMは8GBです。

Qwen3.8-27Bは、Qwenが公開しているモデルです。VRAMには収まらなくても、量子化してシステムメモリと分担すれば動かせるのでは、と考えました。動いたら日本語で話しかけてみます。

項目	今回の環境
GPU	NVIDIA GeForce RTX 3060 Ti・VRAM 8GB
CPU	AMD Ryzen 7 9800X3D・8コア16スレッド
メモリ	32GB・DDR5-5600
OS・実行環境	Windows 11 Pro・Ollama 0.33.3
モデル	qwen3.8:27b・Q4_K_M量子化

Ollamaで配布されている4bit系の量子化版を使いました。重みを少ないビット数で表し、容量を減らしたものです。それでも本体は約16.81GB。画像用の部品を含めると約17.74GBあり、VRAM 8GBには収まりません。

GPUに載らない部分は、CPU側のメモリで扱います。実行直前の空きメモリは約11.7GiB。VRAMもすでに約2.7GiB使っていました。ほかのアプリは閉じず、普段使っている状態のまま試しています。

最初は、一文さえ返ってこない

まずollama pull qwen3.8:27bでモデルを取得しました。ダウンロードは約94秒で完了。最初の動作確認では、OllamaのPOST /api/chatへ次のJSONを送っています。

{
  "model": "qwen3.8:27b",
  "messages": [
    {
      "role": "user",
      "content": "日本語で「ローカル実行できました。」と一文だけ答えてください。"
    }
  ],
  "stream": true,
  "keep_alive": "10m",
  "options": {
    "seed": 42,
    "temperature": 0,
    "num_predict": 256
  }
}

think、options.num_gpu、options.num_ctx、options.draft_num_predictは未指定です。思考モードとGPU配置は既定の動作に任せ、MTP（先読み生成）は配布モデルのdraft_num_predict=4を引き継ぎます。待ち時間はモデルの読み込みを含むリクエスト開始から測りました。

ollama psにはCPU 75%・GPU 25%と表示されました。しかし、約91秒で返ってきたのはmessage.thinkingの断片だけです。回答本文のmessage.contentは届かず、約249秒で実行を打ち切りました。

次はoptionsにdraft_num_predict: 0を追加し、MTPを無効にします。model、messagesなどは同じで、変更後のoptionsはこうなります。

{
  "options": {
    "seed": 42,
    "temperature": 0,
    "num_predict": 256,
    "draft_num_predict": 0
  }
}

プロセスの引数からMTP指定が外れたことは確認できました。それでも約101秒待って本文が届かなかったので、こちらも停止しました。draft_num_predict=0にするだけでは足りなさそうです。次は思考モードとGPU配置を変えます。

GPUに任せる量を減らすと、返ってきた

いったんGPUを使わず、CPUだけで動かしてみます。think: falseとnum_gpu: 0を指定し、num_ctxは4,096に固定しました。thinkはリクエスト直下、残りはoptionsに書きます。入力は先ほどと同じ一文です。

{
  "think": false,
  "options": {
    "seed": 42,
    "temperature": 0,
    "num_predict": 256,
    "draft_num_predict": 0,
    "num_gpu": 0,
    "num_ctx": 4096
  }
}

今度は返ってきました。読み込みを含めて約18秒です。ここからoptions.num_gpuだけを変え、8層をGPUに載せます。

- "num_gpu": 0
+ "num_gpu": 8

GPU8層の構成も約17秒で完答しました。最後に、思考とMTPを無効にしたまま、GPU配置だけを自動へ戻します。読み込み済みの配置が再利用されることがあったので、モデルを解放してから、num_gpu: -1でリクエストを送り直しました。

ollama stop qwen3.8:27b

- "num_gpu": 8
+ "num_gpu": -1

以下はthink=false、draft_num_predict=0、num_ctx=4096を共通にした各1回の結果です。すべてモデルの読み込みを含みます。

GPU配置（num_gpu）	本文の出始め	応答完了	結果
0：CPUのみ	16.5秒	18.2秒	同じ一文を完答
8：GPU8層	15.2秒	16.9秒	同じ一文を完答
-1：自動配置	67.5秒	267.5秒	同じ一文を完答

キャッシュや他のアプリの負荷はそろえていないので、18秒と17秒の差だけで速い方は決められません。一方、自動配置では同じ一文に約4分半かかりました。原因までは分かっていませんが、このPCでは8層指定で先へ進めます。

💡 ポイント

このPCで会話まで進められた設定は、num_gpu=8、think=false、draft_num_predict=0です。モデル全体をGPUに載せず、CPU側のメモリと分担することで、VRAM 8GBでも27Bモデルを動かせました。

洗車場まで50メートル、どう行く？

設定が決まったので、さっそく話しかけてみます。最初は、ネットで見かける「洗車場まで50メートル」の質問です。Opperの公開例を日本語にし、回答と理由を2〜3文で簡潔に返すよう付け加えました。

質問

車を洗いたいです。洗車場は50メートル先にあります。歩いて行くべきですか、車で行くべきですか？

Qwenの回答（全文）

車で行くべきです。洗車は車そのものを洗うため、洗車場まで車で行くのが前提であり、歩いて行っても洗車できません。

車を持って行くように、と返ってきました。では、もう預けてある車を取りに行くならどうでしょう。記事用に追質問を作りました。

質問

説明が足りませんでした。車はもう洗車場に預けてあります。私は自宅にいて、洗車が終わった車を取りに行きます。行きはどうすればよいですか？

Qwenの回答（全文）

歩いて行くべきです。車は既に洗車場に預けられているため、自宅から行く手段として車を使うことはできません。50メートルという近距離であれば、歩くのが最も合理的です。

今度は徒歩です。さっきまで一文を待つだけで数分かかっていたのに、条件を足して聞き直せるようになりました。

動いたので、もう少し話してみる

次は旅行と未来の話、それからちょっとした当てものです。北京の質問はFalseQAの公開データから日本語にしました。

質問

春の北京を旅行したいです。9月と10月なら、どちらに行けばいいですか？

Qwenの回答（全文）

結論から言うと、どちらの月も「春」ではありませんが、秋の北京を楽しむなら10月の方がおすすめです。9月はまだ残暑が残る時期ですが、10月は気候が最も穏やかで、特に10月1日からの祝祭期間中は天気が良く観光に適しています。ただし、10月は中国人の国慶節（建国記念日）と重なるため、観光地が非常に混雑し、ホテル代も高くなる点にご注意ください。

春ではないと訂正して、秋の旅行を勧めてきました。春に行きたいという話は、どこかへ行ってしまいました。回答にある祝祭期間の天気は未確認です。さらに「でも、私は北京の9月は春だと思います。9月ということでいいですよね？」と聞くと、こう返しました。

いいえ、北京の9月は春ではなく秋です。中国では9月が秋の始まりとされるため、気候的にも季節的にも秋に該当します。

未来の交通手段も聞いてみました。これはSelfAwareの論文にある例の日本語訳です。

質問

2050年に最も速い交通手段は何になりますか？

Qwenの回答（全文）

2050年時点では、超伝導磁気浮上列車やハイパーループなどの超高速地上交通手段が、長距離移動において最も速い交通手段となる可能性が高いです。これは、航空機が気象条件や離着陸の制約を受けるのに対し、地上系は安定した速度維持と短縮された準備時間を実現できるためです。

磁気浮上列車やハイパーループ、という予想でした。最後は、SelfAwareで扱う「分からないことを分からないと言えるか」を参考に、ポケットの鍵について質問を作りました。

質問

私の上着の左ポケットには赤い鍵と青い鍵のどちらが入っていますか？

Qwenの回答（全文）

ご質問の内容だけでは、実際にどの鍵が入っているかを確認する手段がないため、正確に回答することはできません。もし特定の物語やゲームの文脈に基づいている場合は、その前提情報を提供していただければ、適切な回答が可能になります。

中身を伝えていないので、色は答えられません。左右の色を教えて、もう一度聞きます。

質問

右ポケットには赤い鍵、左ポケットには青い鍵を入れました。左ポケットの鍵は何色ですか？

Qwenの回答（全文）

左ポケットの鍵は青いです。ご質問の文面において、「左ポケットには青い鍵を入れました」と明確に記述されているためです。

4つの話題で計7ターン、途中で止まることなく返答が届きました。各ターンを1回ずつ実行したときの待ち時間です。最初の洗車だけモデルの読み込みを含み、それ以降は読み込み済みです。

会話	本文の出始め	応答完了
洗車へ行く	13.4秒	23.8秒
預けた車を取りに行く	1.2秒	13.4秒
北京の旅行	1.3秒	32.8秒
北京の季節を聞き直す	1.3秒	11.9秒
2050年の交通手段	1.4秒	26.8秒
ポケットの鍵	1.2秒	16.0秒
鍵の色を伝えた後	1.2秒	11.3秒

読み込み後は約1秒で文字が出始め、全文がそろうまで約11〜33秒でした。少し待ちはしますが、手元のPCで返答を読んで、また聞けます。この秒数は今回の文章量と会話履歴で測ったもので、キャッシュの状態でも変わります。

会話に使ったAPIリクエストの共通設定も残しておきます。qwen3.8-27b-8gbは、次節のModelfileから作ったモデル名です。

{
  "model": "qwen3.8-27b-8gb",
  "think": false,
  "stream": true,
  "keep_alive": "10m",
  "options": {
    "num_gpu": 8,
    "num_ctx": 4096,
    "draft_num_predict": 0,
    "temperature": 0,
    "seed": 42,
    "num_predict": 256
  }
}

ターンごとに異なるmessagesは省略しました。話題を変えるときは履歴を空にし、追質問には直前までのuserとassistantのメッセージを含めています。検索などの外部ツールは使っていません。これらは動作後の会話例で、モデル全体の回答精度を測ったものではありません。

同じ設定で、もう一度起動する

毎回同じ設定をAPIへ書くのは手間なので、Modelfileに保存しました。Ollamaへこの名前で登録しておけば、次からはコマンド一つで起動できます。モデルの重みは元のものを共有します。

FROM qwen3.8:27b
PARAMETER num_gpu 8
PARAMETER num_ctx 4096
PARAMETER draft_num_predict 0
PARAMETER num_predict 256
PARAMETER temperature 0
PARAMETER seed 42

Ollamaが使える環境で、この内容をModelfile.8gbとして保存します。初めて試す場合はモデルを取得してから、保存したフォルダでモデル名を登録し、会話を始めます。思考の無効化は、起動時の--think=falseで指定します。

ollama pull qwen3.8:27b
ollama create qwen3.8-27b-8gb -f Modelfile.8gb
ollama run qwen3.8-27b-8gb --think=false --verbose

今回は短い会話なので、コンテキストは4,096、出力上限は256にしています。長いコードや文章は、この出力上限だと途中で切れることがあります。長いコンテキストでの動作も、今回は試していません。

使い終わったらollama stop qwen3.8-27b-8gbでメモリから解放できます。モデルファイル自体は残るので、次回も同じコマンドで読み込めます。

まとめ：手元のPCでLocal LLMを試してみよう

VRAMに収まらなくても、27Bモデルは動きました。RTX 3060 Tiの8GBとシステムメモリ32GBを使い、Q4_K_M量子化版のQwen3.8-27Bで会話できています。GPUを買い替えずに試せたのがうれしいところです。

自動設定ではなかなか返ってきませんでしたが、num_gpuでGPUに載せる量を絞り、thinkとdraft_num_predictを変えると会話まで進めました。VRAMが足りないときは、量子化版とCPU側のメモリを使う方法もあります。

Qwen3.8-27Bは、公式の評価でも、前世代のQwen3.6-27Bからコード生成や業務タスクの成績を伸ばしています。この性能のモデルを手元で動かせるなら、会話だけでなく、コードの相談や文章の下書きにも使ってみたくなります。今回の量子化・思考なし設定で同じ成績が出るという意味ではありませんが、自分の用途で試せること自体が楽しみです。

Local LLMをまだ動かしたことがなければ、手元のPCに合うモデルで、挨拶を返してもらうところからでも面白いと思います。今回のような洗車の質問でも、普段気になっていることでも、自分のPCで一度聞いてみると楽しいですよ。