Open WebUIをllama-serverへ接続する方法｜URL・モデルID・ログを確認する

llama-serverが単体で動いているなら、Open WebUIへ接続するときに確認したいのは、接続URL、モデルID、ネットワーク上の位置、コンテキスト設定の四つだ。

Open WebUI側の設定を何度も変える前に、まずllama-serverだけで応答できる状態を作る。

図を拡大して見る

図: 処理や設定の流れを1枚に整理。実際の操作条件は本文で確認する。

先にllama-server単体で応答を確認する

Open WebUIをつなぐ前に、llama-serverのAPIへ直接リクエストを送り、サーバー自体が応答することを確認する。

ここで失敗しているなら、Open WebUIを追加しても原因の候補が増えるだけだ。

記録する項目は次のとおり。

起動コマンド:
待ち受けアドレス:
ポート:
読み込んだモデル:
モデルID:
コンテキスト設定:
ログの保存先:

以前使えた設定ではなく、今回実際に起動しているプロセスの値を確認する。

Open WebUIから到達できるURLを設定する

Open WebUIの公式資料では、llama.cppのOpenAI互換サーバーを接続先にする方法が案内されている。

重要なのは、ブラウザーから見えるURLではなく、Open WebUI自身が動いている場所からllama-serverへ届くURLを使うことだ。

Open WebUIをDockerで動かしている場合、コンテナ内のlocalhostは通常そのコンテナ自身を指す。llama-serverがWindowsなどのホスト側で動いているなら、コンテナからホストへ到達できる名前やアドレスが必要になる。

モデル一覧が見えないときは三段階で確認する

Open WebUIにモデルが表示されない場合は、次の順で見る。

1. Open WebUIからllama-serverのアドレスへ到達できるか
2. 設定したURLがOpenAI互換の経路を指しているか
3. llama-server側がモデル情報を返せる状態か

画面を再インストールする前に、llama-serverのログへOpen WebUIからの通信が届いているかを見ると切り分けやすい。

チャットできてもコンテキスト設定は別に確認する

短いチャットが通ったことは、長文を期待どおり扱える証拠ではない。

llama-server側で設定したコンテキスト長と、Open WebUIから送られる設定を分けて確認する。

最初から最大値を使うのではなく、短い入力で接続を確認した後、必要な長さへ段階的に広げる。

一回のチャットをサーバーログと対応付ける

Open WebUIから短いメッセージを一回送り、その時刻のllama-serverログを確認する。

送信時刻:
モデルID:
接続先:
応答状態:
エラーの有無:

を対応付けられれば、その後の問題をOpen WebUI、ネットワーク、llama-serverのどこで起きているか分けやすい。

接続に成功しても、インターネットへ公開してよいという意味ではない。同じPCや閉じたLANだけで足りるなら、公開範囲を不用意に広げない。

llama-server自体の起動から確認したい場合は、llama-serverをローカルAPIとして起動する方法へ戻れる。