開発解説
LLM APIを乗り換えるには？promptだけでなくツール・schema・評価を移す
目次
結論
API移行はpromptの書換えではなく、message表現・ツール schema・structured output・rate limit・評価・rollbackを移す作業です。新旧を同時に走らせるdual-run期間を置きます。
判断の順番は 必須条件→費用/性能の得失→運用条件 です。価格、plan、求人、hardware仕様など時間で変わる事実には 2026-09-13 の観測日を付け、未測定の速度・品質・時間・電力を公式仕様から推測して数値化しません。
判断表：dual-run・shadow・rollback付き移行checklist
| 確認項目 | 移行前 | dual/shadowで比較 | rollback条件 |
|---|---|---|---|
| messages | role/system指示を対応付け | 同じ代表prompt set | policy instruction欠落 |
| structured output | JSON schema/strictnessを移植 | parse失敗率をraw保存 | schema incompatibility |
| tools | ツール schema/result返却を移植 | call sequenceとerror path | side effect誤実行 |
| safety/data | retention/地域/policyを確認 | sensitive class別に検証 | policy違反 |
| latency/cost | billable unitを別々に記録 | request ID単位で比較 | SLO/予算超過 |
| quality | 固定eval setとrubric | blinded eval | critical task劣化 |
trafficを一括切替せず、old=control / new=shadow → small traffic → full の順に進め、旧provider credential/routeをrollback期限まで残します。
判断の前提
LLM APIはproviderを替えてもHTTP requestが同じになるわけではありません。message構造、ツール schema、structured output、rate limit、error semanticsを契約として扱います。
運用ではprovider公式のtoken/limitだけでなく、自分のrequest IDとlatency/error/quality評価を結びます。ただしprompt本文や個人情報を無条件にtelemetryへ載せません。
migration/fallbackは「返答が出たら成功」ではなく、schema validation・ツール実行・policy・評価セットまで同等に通ることをrelease条件にします。
このテーマで実際に見るポイント
messages
system/developer/user等のrole差とconversation stateを対応付ける。
tools
JSON schema、parallel call、ツール resultの戻し方を移す。
schema
strictness、nullable/enum、validation failureをevalへ入れる。
rollback
traffic splitと旧provider資格情報を短期間保持し戻せるようにする。
選ばない・進めない条件
schema/ツール/policy/rollbackが代表evalを通らないprovider/modelへ切り替えない。
これは「慎重に」という抽象論ではなく、比較表の必須条件を満たさない候補をランキングから外すための公開条件です。
一次情報
- OpenAI API — Compare models
- Anthropic — ツール use
- Anthropic — Structured outputs
- Google AI — Function calling
- Google AI — Gemini API rate limits
まとめ
API移行はpromptの書換えではなく、message表現・ツール schema・structured output・rate limit・評価・rollbackを移す作業です。新旧を同時に走らせるdual-run期間を置きます。
変化が速い領域ほど固定ランキングより、同じinputで更新できるdual-run・shadow・rollback付き移行checklistを正本にします。更新時は変化した項目だけを最新の情報源/実際の観測結果で差し替え、同じ判断基準で結論を再計算します。
まとめ
- API移行はpromptの書換えではなく、message表現・ツール schema・structured output・rate limit・評価・rollbackを移す作業です。新旧を同時に走らせるdual-run期間を置きます。 変化が速い領域ほど固定ランキングより、同じinputで更新できる**dual-run・shadow・rollback付き移行checklist**を正本にします。更新時は変化した項目だけを最新の情報源/実際の観測結果で差し替え、同じ判断基準で結論を再計算します。