llama.cppで会話が崩れるときはchat templateを確認する
llama.cppで役割名がそのまま出る、system指示が効かないなど会話形式が崩れるときに、GGUFメタデータ、自動選択されたchat template、上書き設定、raw promptを順に比較する方法を整理します。
すべての記事 — 32ページ目
新着順に読む、local-genの記事。全715件。
llama.cppのコンテキスト長とKV cacheを設定する方法
llama.cppで長いコンテキストを使うとき、モデル側の上限、-c/--ctx-size、KV cacheのデータ型、KVのGPU配置を分けて確認し、必要な長さまで段階的に増やす方法を整理します。
llama.cppはCUDA・Vulkan・ROCmのどれで使う？GPUとOSから選ぶ
llama.cppのGPUバックエンドを、名前の印象や速度ランキングではなく、使っているGPU、OS、公式対応、配布済みバイナリの有無、自分でビルドする必要性から選ぶ方法を整理します。
llama.cppでGBNF・JSON Schemaを使いJSON出力を制約する方法
llama.cppでJSONを安定して出力したいときに、GBNF grammarやJSON Schemaで構文を制約する方法と、その制約では保証できない内容の正しさを分けて整理します。
llama.cppで複数GPUを使うときのsplit-mode設定を確認する
llama.cppで複数GPUを使うとき、split-mode、tensor-split、main-gpuなどの設定を、同じGGUFとコンテキスト長で比較する方法を整理します。VRAMを単純に合算せず、実際の配置と速度をログで確認します。
llama.cppのn-gpu-layersはどう決める？GPUオフロードをログで確認する
llama.cppの--n-gpu-layersでモデル層をどこまでGPUへ置くか調整するときに、数値・auto・allの意味、起動ログ、VRAM、KV cache、コンテキスト長を分けて確認する方法を整理します。
llama.cppのtemperature・top-p・min-pは何を変える？
llama.cppのtemperature・top-p・min-pを一度に調整せず、同じモデル、プロンプト、seedで基準を作り、一項目ずつ変えて出力の違いを確認する方法を整理します。
llama-serverでローカルAPIを起動する方法｜localhostで動作確認する
llama.cppのllama-serverへGGUFを指定し、localhostで起動して/healthを確認し、最初のHTTPリクエストを送るまでを整理します。最初は外部ネットワークへ公開せず、ローカル動作だけを切り分けます。
Llamaの小型モデルをローカルで選ぶ方法｜1B・3Bを試す前の確認項目
Llamaの小型モデルを、Llamaという名前だけでまとめず、世代、1B・3Bなどのモデル規模、Instruct版かどうか、ライセンス、コンテキスト長、配布物、実行環境から選ぶ方法を整理します。
LM Studioのコンテキスト長はどう決める？必要な長さから設定する
LM Studioでコンテキスト長を変更するときに、モデル側の上限と実際に使う長さを分け、メモリ使用量を確認しながら必要な範囲まで増やす方法を整理します。
LM StudioのJIT loadingと自動unloadはいつ使う？複数モデル運用の考え方
LM Studioで複数モデルを使うとき、必要時だけ読み込むJIT loadingと、使っていないモデルを解放する自動unloadを、読み込み待ちとVRAM・RAMの空き容量から選ぶ方法を整理します。
LM StudioをLAN内の別PCから使う方法｜公開前に確認したい安全設定
LM Studioを同じLANの別PCやタブレットから使うときに、待受先、API token、Windows Firewall、接続を許可するネットワークを確認し、必要な範囲だけへ公開する方法を整理します。
LM StudioをGUIなしで使うには？llmsterとheadless運用の基本
LM StudioをGUIなしで常用したいときに、llmsterとデスクトップ版のheadless運用を区別し、daemonの起動、モデル読み込み、停止、再起動、ログ確認まで進める方法を整理します。
LM StudioのローカルAPIを安全に起動する方法｜まずlocalhostで確認する
LM StudioのAPIを自作アプリなどから使うときに、まずlocalhostだけでサーバーを起動し、モデル一覧と1回の応答を確認する手順を整理します。LAN公開やAPI tokenは必要になってから追加します。
LM Studioでモデルを選ぶ方法｜配布元・形式・量子化を確認する
LM Studioの検索結果からモデルを選ぶときに、配布元、元モデル、ファイル形式、量子化、容量を確認し、ダウンロード前にモデルカードとライセンスへ戻る手順を整理します。
LM StudioでPDFや文書に質問する方法｜オフライン利用まで確認する
LM StudioへPDF・DOCX・TXTを追加して文書の内容へ質問する方法を、短い文書と長い文書の違い、RAG、オフライン利用、原文との照合まで含めて整理します。
LM Studioの推論環境を更新・切り替える前に確認すること
LM Studio本体と推論環境のバージョンを分けて記録し、同じモデル・コンテキスト・GPU設定を固定したまま推論環境を更新・切り替え、問題がないか比較する方法を整理します。
ローカルAIのAPIを外部公開する前に確認すること｜localhostで十分かも考える
LM Studio・Ollama・llama.cppなどのAPIをLANや外部ネットワークから使う前に、待受先、認証、Firewall、ログ、計算資源へのアクセスを確認し、公開範囲を必要最小限にする考え方を整理します。