ローカルAIでコード補助をするには？外部送信を避けたいリポジトリの構成
『modelがローカル』だけで閉域と判断せず、拡張・index・web検索・MCP/ツール・telemetry/logの通信先を経路ごとに確認します。
すべての記事 — 20ページ目
新着順に読む、local-genの記事。全715件。
ローカルLLMをAir-gapped運用すべき？機密性と更新負担で判断
Air-gapは「安全そう」で採用せず、data機密度と外部通信禁止要件が更新・artifact移送・patch適用の運用負担を上回る場合に限定する。
ローカルLLMはモデル版を固定すべき？更新追従と再現性で判断
本番local LLMはlatest追従を自動で受けず、model revision/hash・runtime・評価set・rollback先を台帳化して更新gateを通す。
1台のローカルLLMを複数人で使える？同時requestとKV cacheを測る
単一利用時のtokens/sを人数倍して同時利用性能とみなしてはいけない。queueing、KV cache、context長、batch/scheduler、VRAM余裕がP50/P95 latencyへ効くため、1/2/4/8 concurrent requestを同じprompt setで測る。
Local LLMはNPUで動かせる？runtime・model形式・対応deviceを先に確認
Local LLMのNPU利用はruntime×execution provider×device×model formatの互換表を先に作り、fallback先も確認します。
ローカルAIモデルが増えすぎたらどう整理する？重複・revision・cacheを削減
削除量を先に最大化せず、model hash・revision・runtime・最終使用日・再取得可否をinventory化してから重複/cacheだけを減らす。
ローカルAIモデルを更新すると回答が変わる？versionを固定して比較する方法
『同じmodel名』でもrepository revision、quantization、chat template、runtime versionが変われば出力は変わり得る。業務で使うなら、model artifactのrevision/hashと評価setを一緒に固定する。
MoEモデルはparameter数より軽い？ローカル実行時のactive parameterとmemoryを分ける
MoEはactive parameterが少なくても全weightを保持する必要があるため、「parameter数が大きい=必ず計算もmemoryも同じ比率で重い」とも「active parameterだけ見ればよい」と
ローカルRAGを作る最小構成｜LLM・Embedding・indexを分けて考える
最小RAGはLLMにPDFを読ませる1機能ではなく、ingest→embedding/index→retrieve→LLM answer→citationの工程です。小さいcorpusで各componentを交換できる構成から始めます。
ローカルRAGのVector DBは必要？SQLite・専用DB・in-memoryを規模で選ぶ
小規模RAGは専用Vector DBを前提にせず、文書/chunk数・filter・更新頻度・backup・運用要件が増えた段階でembedded/local serverへ移します。
ローカル音声AIを構成するには？音声認識・LLM・音声合成を分けて選ぶ
local voice AIはSTT・LLM・TTSの3段を別々に設計する。体感待ち時間は各段の合計にqueue/音声buffer等が乗るため、どこがbottleneckか測れるようstage別に記録する。
動画生成はローカルGPUとCloudサービスのどちら？待ち時間とVRAMで判断
local/Cloudは月間生成量、VRAM要件、待ち時間、電気代、subscription/credit、update保守を同じTCOへ入れて選びます。
ローカルLLMのWeb UIはどう選ぶ？chat履歴・RAG・複数user機能を比較
runtime/API選定とUI選定を分け、auth・history・RAG・multi-user・update責任からWeb UI層を選びます。
LoRA学習は自宅GPUとCloud GPUのどちら？試行回数と保管で比較
LoRA学習はdataset size×試行回数×VRAM×storage/プライバシーでTCOを作り、反復回数が少ないならCloud、多いならlocalも含め再計算します。
機械学習エンジニアとデータサイエンティストは何が違う？転職条件で比較
肩書きではなく求人票の責任範囲で選びます。モデルを本番へ載せる実装・基盤責任が中心なら機械学習エンジニア、分析・仮説検証・意思決定支援が中心ならデータサイエンティスト寄りです。
Makeのクレジットは何に使われる？AI処理と通常処理を分けて見積もる
Makeは1 operation=1 creditの通常処理と、token等でdynamicになるAI処理、BYOK provider請求を分けてbudget化する。
Managed NotebookとGPU VMの違い｜学習環境をどこまで管理したいかで選ぶ
管理範囲・停止方法・ネットワーク要件から選ぶ。GPU名や公開benchmarkだけで決めず、自分のjobの起動・処理・転送・保存・失敗runを同じprotocolで記録し、請求単位まで含めて判断する。
Vector DBはmanagedとself-hostどちら？運用人件費とdata要件で比較
managed/self-hostはlicense価格より、backup/restore・upgrade・security patch・on-callを12か月TCOへ入れて選びます。