すべての記事 — 14ページ目

新着順に読む、local-genの記事。全268件。

Local / Edge解説2026/08/22

ローカルLLMで画像入力するには？ mmprojとランタイムの確認方法

マルチモーダルLLMはモデル本体だけでは画像・音声・動画を使えない場合がある。使いたい入力形式を決め、対応モデル、projector/mmproj、テンプレート、ランタイムの対応をそろえて確認する。

Local / Edge分析2026/08/22

M5 Max 128GB MacBook ProとRTX 5090はどっち？ローカルLLM向けに比較

大きなモデルを持ち運んで使いたいなら最大128GBのユニファイドメモリを選べるM5 Max MacBook Pro、CUDA対応やGPU交換・増設を重視するならRTX 5090デスクトップが候補になる。メモリ容量だけでなく実行環境と使い方で選びたい。

Local / Edge分析2026/08/22

Mac Studio M3 UltraとNVIDIA高VRAM PCはどっち？大容量LLM向けに比較

32GBを大きく超えるメモリが必要でMetal対応の実行環境を使えるなら、最大512GBのユニファイドメモリを選べるMac Studio M3 Ultraが候補になる。CUDAやGPU交換を重視するならRTX 5090、RTX PRO、複数GPU構成を比較したい。

Local / Edge解説2026/08/22

MoEの総パラメータと有効パラメータは何が違う？ A3Bの意味を解説

35B-A3Bや80B-A3BのA3Bは3Bモデルや3GB VRAMを意味しない。総パラメータ数、有効パラメータ数、配布ファイル容量、実行時メモリを分けてMoEモデルの仕様を読む。

Local / Edge解説2026/08/22

MTP・投機的デコードとは？ローカルLLMで速くなる仕組みと条件

投機的デコードは候補トークンを先に作り、対象モデルが検証して採用する仕組み。MTP、draft model、EAGLE、ngramなど方式は異なり、対応表記だけで一定の高速化を保証するものではない。

Local / Edge解説2026/08/22

Nemotron 3.5 Lightning 30B-A3Bとは？ NVFP4と1Mコンテキストの注意点

Nemotron 3.5 Lightning 30B-A3Bは総30B・有効3BのMoEで、最大1,048,576トークンとNVFP4配布物を持つNVIDIAモデル。一般向けGeForceでの実行は、NVFP4対応ランタイムと公開された構成例を確認してから判断したい。

Local / Edge分析2026/08/22

NVIDIAとAMD、ローカルLLM用GPUはどっち？2026年の選び方

ローカルLLM用GPUはVRAMや価格だけでなく、Windows/LinuxとCUDA・ROCm・Vulkan、使うアプリの対応で選ぶ。AMDの利用経路を明確に確認できるなら候補になり、CUDA前提のアプリや複数環境を手早く使いたいならNVIDIAを選びやすい。

Local / Edge実践ガイド2026/08/22

OllamaでGPUが使われない・CPU実行になるときの原因と対処法

OllamaでCPU実行になっているように見える場合は、まず`ollama ps`のPROCESSORとログを確認する。次にOS・GPUの対応表、ドライバーとバックエンド、VRAM・コンテキスト、モデル条件を順に切り分ける。

Local / Edge実践ガイド2026/08/22

OllamaにGGUFを取り込む方法｜Modelfileの基本と手順

手元のGGUFをOllamaで使うなら、最小ModelfileのFROMにファイルを指定して`ollama create`で登録する。登録後は起動、チャットテンプレート、コンテキスト、GPU/CPU配置を別々に確認する。

Local / Edge実践ガイド2026/08/22

WindowsでOllamaを始める方法｜インストールから最初のモデル起動まで

Windows版Ollamaを公式インストーラーから導入し、公式library modelを1つ起動して応答を確認するまでの手順。`ollama ps`でGPU/CPU配置とコンテキストを確認してから、GGUF importやAPI連携へ進む。

Local / Edge解説2026/08/22

Qwen3.6-27B Fable Fusion 711とは？「Uncensored」表記と配布物を確認

Qwen3.6-27B Fable Fusion 711はDavidAUが公開する27Bのコミュニティ派生GGUF。mmprojやMTP関連ファイルも含む一方、「uncensored」「heretic」や拒否・品質・速度に関する表現は作者側の主張で、実際の挙動は別に評価する必要がある。

Local / Edge解説2026/08/22

HauhauCS版Qwen3.6-35B-A3Bとは？「Uncensored」表記とMoE構成

HauhauCS版Qwen3.6-35B-A3Bは、公式Qwen3.6-35B-A3Bをベースにしたコミュニティ派生モデル。GGUFとmmprojが配布される一方、「uncensored」「Aggressive」や465件中拒否0という結果は作者側の報告で、実際の挙動は別に確認する必要がある。

Local / Edge解説2026/08/22

Qwen3.6-35B-A3Bとは？ 35B/3BのMoE構成とGGUF容量

Qwen3.6-35B-A3Bは総35B・有効3Bパラメータの公式MoEモデル。通常262,144トークン、YaRN条件付きで約101万トークンに対応し、GGUFではQ4_K_M 20.4GBなどが公開されているが、配布容量と必要VRAMは別に考える必要がある。

Local / Edge解説2026/08/22

Qwen3.8-27Bとは？ 262Kコンテキストと27B Denseモデルの仕様

Qwen3.8-27BはQwen公式の27B Denseモデルで、通常262,144トークン、YaRN条件付きで100万トークンのコンテキストに対応。公式配布は約55.6GBだが、配布容量と実行時の必要VRAMは別に考える必要がある。

Local / Edge解説2026/08/22

Qwen3.8 4B Distilled GGUFとは？コミュニティ蒸留モデルの系譜と量子化

Qwen3.8 4B Distilled GGUFはMa7ee7が公開するコミュニティモデル。作者はqwen3.8-max-previewを教師、Qwen3-4B-Thinking-2507を学習先として記載し、Q4_K_M・Q5_K_M・Q8_0を配布しているが、公式Qwen3.8 4Bや教師モデルと同等とは扱えない。