LLM API ゲートウェイを比較する — マークアップ・課金モデル・リージョン・学習データ利用の落とし穴

OpenAI・Anthropic・Google Gemini といった複数ベンダーの LLM API を、単一のエンドポイントと共通の認証・課金・観測レイヤーで束ねる「LLM ゲートウェイ」は、生成 AI アプリケーションを構築するうえで定番のコンポーネントになりました。プロバイダーを切り替えても呼び出しコードはそのまま、フェイルオーバーやコスト最適化のルーティングも一枚の API 面で完結する。その手軽さの代表格が Vercel AI Gateway です。

ただ、いざ「Vercel AI Gateway のような体験を、別のサービスでも実現したい」と探し始めると、各社の打ち出し方が驚くほどバラバラなことに気づきます。「マークアップなし」を掲げていても請求総額には別の手数料が乗る、先払いか後払いかで本番の可用性設計が変わる、リージョンを指定してもデータが国外に出る、といった論点が絡み合うからです。

この記事では、Vercel AI Gateway を参照点に、OpenRouter・Cloudflare AI Gateway・Helicone・Portkey・LiteLLM、さらにクラウドアグリゲーターである Amazon Bedrock・Azure AI Foundry・Vertex AI までを、四つの軸で比較します。料金・リージョン・ポリシーは変動が激しいため、本記事は 2026 年 6 月下旬時点の一次情報に基づく整理であり、本番採用の前には各社公式ページで確認日基準の再確認を強くおすすめします。

評価の四軸 — どこで差がつくか

LLM ゲートウェイを選ぶとき、比較すべき軸は次の四つに集約されます。

トークンマークアップと手数料: 上流プロバイダーのトークン単価に上乗せがあるか。上乗せが無くても、クレジット購入手数料や機能課金が別立てで乗っていないか。
課金モデル: クレジットを事前購入する先払い（プリペイド）型か、サブスクリプションや使用実績にもとづく後払い（ポストペイド）型か。
リージョンとデータレジデンシー: 推論が物理的にどの地域で実行され、ログやキャッシュがどこに残るか。日本・APAC で国内完結できるか。
学習データ利用とログ: プロンプトや出力がモデルの再学習に使われないことを担保できるか。ゲートウェイ自身がログ本文を保存するか。

このうち最も誤解されやすいのが一つ目です。先に結論を言うと、調査対象のサービスはいずれも上流のトークン単価そのものには直接マークアップを乗せていません。しかし「マークアップなし」と「総コストに追加費用なし」はまったくの別物で、ほぼすべてのサービスがどこかで手数料を回収しています。この落とし穴を軸に、各サービスを見ていきます。

主要サービスの比較

まず全体像を一枚で押さえます。凡例は ◎ = 明確に有利／対応、○ = 条件付き、△ = 限定的・要注意、✕ = 非対応です。

サービス	トークンマークアップ	決済・取引手数料	課金方式	日本・APAC リージョン	学習データ利用
Vercel AI Gateway	なし（BYOK も 0%）	決済処理手数料の転嫁（実測約 3%）、チーム ZDR は $0.10 / 1,000 req	先払い（クレジット）	△ 日本エンドポイント非公表	✕ しない（既定で削除・ZDR）
OpenRouter	なし（旧 10% は廃止）	カード 5.5%（最低 $0.80）／暗号 5%、BYOK は月 100 万 req 超で 5%	先払い（Ent. は請求書）	△ EU は対応、日本なし	✕ しない（既定でログ非保存）
Cloudflare AI Gateway	なし	Unified Billing クレジットに 5%	先払い／BYOK 後払い	△ 東京エッジ・固定不可	✕ しない（Unified Billing は ZDR）
Helicone	なし	なし（Stripe 標準のみ）	後払い（サブスク）	○ US / EU 選択可	△ 学習非利用は明示なし
Portkey	なし（BYOK）	なし（月額＋ログ超過）	後払い（サブスク）	○ 自己ホストで日本可	✕ しない
LiteLLM	なし（OSS 自己ホスト）	なし（上流へ直接支払い）	自己ホスト／Ent. 見積	◎ 配置先は任意	✕ しない（外部保存なし）
AWS Bedrock	なし（自社レート）	なし	後払い（AWS 請求）	◎ 東京・大阪	✕ しない（契約で明示）
Azure AI Foundry	なし（自社レート）	なし	後払い（Azure 請求）	○ Japan East（Standard）	✕ しない（既定）
Vertex AI	Gemini はなし、OSS は割増	なし	後払い（GCP 請求）	◎ 東京・残留保証あり	✕ しない（許可なく不使用）

以下、軸ごとに掘り下げます。

マークアップと手数料 — ゼロマークアップでもタダではない

実務で最も誤解しやすいのが、料金構造です。「モデル価格にマークアップがない」ことと「総コストに追加費用がない」ことは別だ、という一点に尽きます。

Cloudflare AI Gateway は、プロバイダーごとの API キー管理を不要にする一括請求機能 Unified Billing を使う場合、上流の推論単価はパススルー（そのまま転嫁）でも、クレジット購入額に一律 5% の手数料が乗ります。100 ドル分のクレジットを買うと 105 ドルが課金される、という形です。コアのゲートウェイ機能自体は無料で、リクエスト単位の固定費はありません。

OpenRouter は、かつての約 10% のトークンマークアップを撤廃し、現在は「モデル価格の上乗せなし」を掲げています。代わりにクレジット購入時にカードで 5.5%（最低 $0.80）、暗号通貨で 5% の手数料がかかります。最低 $0.80 が効くため、20 ドル未満の少額チャージでは実質手数料率が 8% から 16% にまで跳ね上がる点に注意が要ります。BYOK（自分の API キー持ち込み）は月間 100 万リクエストまで無料で、それを超えた分には同一モデル・同一プロバイダーの通常料金の 5% に相当するルーティング手数料がかかります。なお、特定モデルの直接ルートで高い実効マークアップ（ある分析では Claude 系で 100%）が観測されたという第三者報告もあるため、Anthropic モデルを大量に消費するなら BYOK 移行を含めてモデル別に必ず検証してください。

Vercel AI Gateway は、トークンマークアップを BYOK を含めて完全に 0% と明言しています。ただし公式ドキュメントには「持ち込み鍵にマークアップは乗せないが、決済処理手数料は利用者負担」と明記されており、あるレビューでは 100 ドルのクレジット購入に対して約 3.2 ドルの手数料が観測されました。さらに、ガバナンス系の機能には別途リクエスト課金があります。チーム全体での Zero Data Retention（ZDR）強制は成功リクエスト 1,000 件あたり 0.10 ドル、チーム向けプロバイダー許可リストも同額で、カスタムレポーティングは書き込み 1,000 件あたり 0.075 ドル、クエリ 1,000 件あたり 5 ドルが課金されます。なお、リクエスト単位の ZDR 指定は無料なので、本番では団体強制より個別ヘッダー指定を選ぶとこの上乗せを避けられます。

Helicone と Portkey は、そもそもトークン消費を BYOK で上流に直接払う設計なので、ゲートウェイ側の課金はモニタリングとログ蓄積に対するサブスクリプションです。Helicone は Hobby（無料・月 1 万リクエスト）、Pro 月 79 ドル＋従量、Team 月 799 ドル＋従量、Enterprise という階層で、上乗せは 0% を前面に出しています。Portkey は Free（開発用・月 1 万ログ）、Production 月 49 ドル（月 10 万ログ、超過は 10 万ログごとに 9 ドル、最大 300 万まで）、Enterprise という構成です。LiteLLM は OSS 版を自己ホストする限りブローカー手数料そのものが発生せず、上流プロバイダーへ直接支払う設計です。

調達の観点で言い換えると、Cloudflare と OpenRouter は「支払いは簡単だが料金構造はやや厚め」、Vercel と Helicone は「支払いも簡単で上流同額を強調」、Portkey と LiteLLM は「課金は SaaS・契約・自己ホスト寄りだが運用統制が強い」という三つの型に分かれます。複数プロバイダーを一枚の請求書にまとめたい企業には Cloudflare・OpenRouter が分かりやすく、厳密なコスト説明責任を求められるなら Vercel・Helicone のほうが社内説明はしやすい、という整理になります。

課金モデル — 先払いと後払いで可用性設計が変わる

課金方式は、デポジットを先に積む先払い（プリペイド）型と、サブスクリプションや使用実績にもとづく後払い（ポストペイド）型に大別され、これが本番の可用性設計に直結します。

先払い型は Vercel、Cloudflare（Unified Billing 選択時）、OpenRouter が代表です。Vercel AI Gateway の有料ティアでは、あらかじめ AI Gateway Credits を購入し、リクエストごとに自動で減算します。残高が枯渇するとゲートウェイは即座に HTTP 429（Too Many Requests）を返して連携が切れる仕様のため、残高が一定値を下回ったら自動でチャージする「自動トップアップ」が本番運用では実質必須です。OpenRouter の Pay-as-you-go も同様で、購入したクレジットには有効期限があり（直接購入分は約 12 か月の不使用で失効するという第三者報告があります）、月間 5,000 万リクオーバー級のエンタープライズでは審査のうえ購入注文書（PO）による請求書払いやクレジットラインも開けます。

対照的に Helicone と Portkey は後払いです。トークン消費自体は BYOK で後日プロバイダーから直接請求され、ゲートウェイの課金はログ・モニタリング機能のサブスクリプションになります。Portkey の Production（月 49 ドル）なら月 10 万ログまで込みで、超過分は次回請求で 10 万ログごとに 9 ドルが合算される形です。この型はトークン消費が急増してもゲートウェイ残高切れでシステム全体が止まるリスクが極めて低く、本番の可用性維持で優位です。クラウドアグリゲーターの Bedrock・Azure・Vertex AI も後払いで、請求は各クラウドのアカウントに統合されます。

予算管理を最優先し、バースト時もサービスを止めたくないなら後払い型のサブスク・従量ハイブリッド（Helicone・Portkey）が安全です。逆に、上流同額のまま使った分だけ払い、社内のコスト説明をシンプルにしたいなら先払い型が向きます。

リージョンとデータレジデンシー — 「東京 = 国内処理」ではない

生成 AI を規制の厳しい業界に入れる際、ゲートウェイがどの物理地域を経由し、どこにログやキャッシュを残すかは重大な論点です。そして、ここに最大の落とし穴があります。「リージョンを東京に設定する」ことと「データが日本国内に留まる」ことは、まったく別の話だという点です。

SaaS 型のルーティングゲートウェイは、この点でほぼ全滅です。Vercel AI Gateway は単一のグローバルエンドポイント（https://ai-gateway.vercel.sh/v1）で、日本の地域別エンドポイントや APPI 準拠のデータレジデンシー保証は公表していません。同社のデータ統制の打ち出しは ZDR（即時削除）であって、国内処理の保証ではない点に注意が要ります。Cloudflare AI Gateway は東京を含むグローバルエッジで動きますが、実行地は保証されず推論を日本に固定できません。さらに Cloudflare のコミュニティ回答では、AI Gateway は Regional Services や Geo Key Manager と互換性がなく、顧客メタデータ境界を設定してもログのメタデータに限られるとされています。OpenRouter はエンタープライズ向けに EU 専用ベース URL（https://eu.openrouter.ai）の「Sovereign AI」を持ちますが、日本のイン・リージョンは公表されていません。

SaaS で例外的に強いのが Helicone と Portkey です。Helicone はクラウド利用時に US または EU を明示的に選べ、EU を選ぶと通信先を eu.api.helicone.ai に向けることでデータとログが EU 域内のみで処理・保存されます。さらに model: "gpt-4o/azure/eu-frankfurt-deployment" のようにパラメータでプロバイダーの地域ロックを強制でき、コードを書き換えずにルーティングを縛れます。Portkey はマネージドでは US・EU・India を提供し、日本・APAC は現状オフザシェルフでは持ちません。ただしエンタープライズの VPC・ハイブリッド・エアギャップ構成なら話が変わります。ゲートウェイコアは Helm チャートの OSS として提供され、自社の AWS・GKE・Azure の VPC 内にプロキシノードを直接デプロイでき、ログ格納先も LOG_STORE 環境変数で自社管理の GCS や S3 バケットに紐付けられます。これにより全通信レコードを 100% 自社のセキュリティ境界内に閉じ込められます。同じ発想で、LiteLLM も自己ホスト前提なので配置リージョンは完全に任意です。

そして「データが本当に日本国内で処理される」ことを最も素直に満たすのは、SaaS ルーターではなくクラウドアグリゲーターです。この点は別記事の日本リージョンで OSS モデル API を提供するサービスの調査でも詳述しましたが、AWS Bedrock の東京（ap-northeast-1）・大阪、Azure OpenAI の Japan East（Standard デプロイ）、Vertex AI の東京（asia-northeast1）が、契約で裏づけられた数少ない現実解です。ただし注意が要ります。Google Cloud のドキュメントは「リージョナルエンドポイントだけではデータレジデンシーや特定リージョン内での ML 処理を保証せず、グローバルエンドポイントは要件を満たさない」と明記し、Azure も Global 系デプロイは「デプロイされたどのリージョンでも処理されうる」とします。Azure には日本 Data Zone が存在しないため、国内完結には Japan East の単一リージョン（Standard）を明示的に選ぶ必要があります。Bedrock の東京・大阪間で国内完結する「日本（JP）ジオ」プロファイルも、現状は Anthropic Claude 専用です。

学習データ利用とログ — ZDR・DLP・PII マスキング

機密性の高いプロンプトや出力が、プロバイダーの再学習に使われないこと。そしてゲートウェイ自身がログ本文を持たないこと。この二点をどう担保するかも、サービスごとに思想が違います。

ZDR（Zero Data Retention）の打ち出しが明快なのは Vercel と OpenRouter です。Vercel の ZDR は、データ保持契約に署名した安全なエンドポイントのみに強制ルーティングし、加えてゲートウェイ自身も既定でプロンプトと出力をリクエスト完了後に永久削除します。「Disallow Prompt Training」という学習禁止の制御も持ち、ZDR は学習オプトアウトの上位集合として機能します。OpenRouter は価格ページで「We do not train on your data.」と明言し、プロンプトと出力の本文を既定でログ保存しません（保存にオプトインすると 1% のトークン割引が返るという独特の設計です）。さらに学習を行うプロバイダーへの自動ルーティングを排除するトグルを備え、不透明なプロバイダーがルーティングで選ばれるのを未然に防ぎます。

ログ本文をゲートウェイに残さない仕組みでは、Helicone と Cloudflare がオプトアウト設計を持ちます。Helicone は全通信本文を記録から外す「Omit Logs」に加え、トークン数・遅延・TTFT などの監査メタデータだけを非同期で抽出し、プロンプト本文は通過した瞬間にメモリ上から消す処理を標準でサポートします。Cloudflare は既定でペイロード全体を保存しますが、cf-aig-collect-log-payload: false ヘッダーやゲートウェイ設定でメタデータのみの記録に切り替えられます。さらに Cloudflare は DLP（Data Loss Prevention）をエッジで連携させ、クレジットカード番号や PII を含むリクエストをリアルタイムに検知し、フラグ付けか HTTP 400 でのブロックを選べます。ただし DLP の評価対象をレスポンスにまで広げると、ストリーミング応答をバッファに溜めてから評価する必要があり、TTFT のメリットが大きく損なわれるトレードオフがあるため、低遅延を保ちたいなら入力のみのスキャンに留めるのが定石です。

Portkey は別のアプローチで、Production・Enterprise でネイティブの PII 検知・マスキング（黒塗り）を実装します。「私の電話番号は (555) 123-4567 です」という入力を [PHONE_NUMBER_1] のようなプレースホルダーに変形してから上流へ送るため、プロバイダーは個人情報の本文に一切触れずに推論を返せます。ログ保持期間も Free が 3 日、Production が 30 日、Enterprise はカスタムと細かく制御できます。

クラウドアグリゲーターは契約面が最も堅牢です。Amazon Bedrock の FAQは「AWS も第三者モデルプロバイダーも、Bedrock への入力や出力を Amazon やいかなる第三者モデルの学習にも使わない」と明言し、通常運用ではプロンプトを保存しません。Microsoft も Azure OpenAI で、プロンプト・出力・埋め込み・微調整データを「許可なく基盤モデルの学習に使わない」と明言しますが、既定で 30 日の不正利用監視ログがあり、これを無効化する Modified Abuse Monitoring / ZDR は Microsoft の承認と EA / MCA 契約が要るゲート付きである点に注意が要ります。Google も「顧客データを許可なく学習に使わない」とし、保存先を顧客が制御できると説明しています。

なお Portkey については組織面の変化も押さえておくべきで、2026 年 4 月 30 日に Palo Alto Networks が買収を発表し、5 月 29 日にクローズして Prisma AIRS に統合されました。Gateway 2.0 として OSS 化もされており、ロードマップと価格は移行に伴って変わりうるため、採用前に直接確認するのが安全です。

アーキテクチャの共通形

ここまで見たサービスは、細部は違えど共通の骨格を持っています。アプリケーションの前段に「統一 API」「ルーティング」「認証」「観測」をまとめたゲートウェイ層を置き、その背後に複数のプロバイダーをぶら下げる形です。違いは、そのゲートウェイがマネージドクレジットを軸にするのか、BYOK を軸にするのか、あるいは自己ホストなのか、という点に集約されます。

flowchart LR
    A["アプリ / エージェント"] --> B["統一ゲートウェイ API"]
    H["Managed Credits"] --> B
    I["BYOK / Provider Keys"] --> B
    B --> C{"ルーティング方針"}
    C -->|"コスト / レイテンシ"| D["Provider A"]
    C -->|"フェイルオーバー"| E["Provider B"]
    C -->|"ZDR / リージョン"| F["Provider C"]
    B --> G["Observability / Logs / Spend"]

Vercel・Cloudflare・OpenRouter・Helicone はマネージドな課金やクレジットが比較的前面にあり、Portkey と LiteLLM は BYOK や自己ホストの比重が高めです。公開資料で明示された追加手数料だけを並べると、Cloudflare が 5%、OpenRouter が 5.5%、Vercel と Helicone は 0%（ただし Vercel は決済処理手数料の可能性あり）という並びになります。

このほかの選択肢 — Martian・Unify・Braintrust

主要 6 サービス以外にも、用途次第で候補になるルーターがあります。Martian は、十分な品質を保ちつつ最も安いモデルへ予測的にルーティングするモデルルーターで、パススルー＋約 5.5% の手数料と報じられています（第三者報告のため要確認）。Unify はコスト・レイテンシ・品質を最適化するニューラルルーターで、BYOK の仮想キーに対応しますが LLM ルーティング製品の価格は公表されていません（同名の別会社が存在するため混同に注意）。Braintrust は評価・観測プラットフォームに AI プロキシを同梱した構成で、プロキシ自体は無料・トークンマークアップなし、プラットフォームは Pro 月 249 ドルの後払いサブスクです。いずれも日本・APAC のリージョンは公表されておらず、データレジデンシーが要件ならエンタープライズの VPC・オンプレ構成が前提になります。

要件別の選び方

ここまでの整理を、要件から逆算した選定戦略にまとめます。

最小の摩擦でマネージドなマルチ LLM アクセスを入れたい: Vercel AI Gateway か Helicone
- どちらも OpenAI 互換で導入が軽く、上乗せ 0% を打ち出しています。Vercel は本番ではチーム ZDR 強制より無料のリクエスト単位 ZDR を選ぶと余計な上乗せを避けられます。
モデル市場の広さとプライバシーフィルタ、EU ルーティングを重視: OpenRouter
- 400 以上のモデルと「学習プロバイダー除外」トグル、EU 専用 URL が強みです。少額チャージでは手数料率が跳ねる点と、Claude 系の実効マークアップをモデル別に検証してください。
既に Cloudflare スタックに乗っている: Cloudflare AI Gateway
- 観測・キャッシュ・フォールバック・カスタムプロバイダー・DLP を同じ運用面で統合できます。Unified Billing の 5% をどう評価するかが分かれ目です。
VPC・閉域・企業統制とガバナンスを最優先: Portkey か LiteLLM
- Portkey は自己ホストで日本リージョンと PII マスキングを満たせます。LiteLLM は OSS 自己ホストで配置もデータ統制も最大化できます。
日本国内での処理を契約で担保したい: AWS Bedrock 東京 / Azure OpenAI Japan East / Vertex AI 東京
- SaaS ルーターでは APPI 準拠の国内完結は基本的に満たせません。Bedrock 東京（Claude は JP ジオ）、Azure は Japan East の Standard デプロイ、Vertex はリージョナルエンドポイントを明示、というのが現実解です。

判断を分ける条件はシンプルです。日本国内での処理を契約で担保する必要があるなら、答えは SaaS ルーターではなくクラウドアグリゲーターか、Portkey / LiteLLM の自己ホストになります。逆に国内完結が要件でないなら、上乗せ 0% で導入の軽い Vercel・Helicone、あるいはモデル市場とポリシー制御の OpenRouter が扱いやすい、という整理です。

まとめ

要点を整理します。

調査対象のサービスはいずれも上流のトークン単価に直接マークアップを乗せていないが、「マークアップなし」と「総コストに追加費用なし」は別物で、ほぼ全社がどこかで手数料を回収している。
明示された追加手数料は Cloudflare 5%、OpenRouter 5.5%（最低 $0.80）、Vercel と Helicone は 0%（Vercel は決済処理手数料の可能性あり）。Vercel はチーム ZDR など機能課金が別立てで乗る。
課金は Vercel・Cloudflare・OpenRouter が先払いで残高切れ時に止まる設計、Helicone・Portkey とクラウド勢は後払いでバースト耐性が高い。
「リージョン = 東京」と「データが日本に留まる」は別問題。SaaS ルーターは国内完結に基本的に不向きで、APPI 準拠なら Bedrock・Azure・Vertex か、Portkey / LiteLLM の自己ホストが現実解。
学習データ利用の明示は OpenRouter が最も直接的、Vercel は既定削除＋ZDR、クラウド勢は契約で最も堅牢。ログ本文を残さない設計は Helicone・Cloudflare、PII マスキングは Portkey が持つ。

最後に改めて強調すると、この領域は料金・リージョン・ポリシーの変動が激しく、各社のページは短期間で書き換わります。本記事はあくまで 2026 年 6 月下旬時点の見取り図であり、本番採用の前には必ず確認日基準で一次情報を当たってください。

以上、Vercel AI Gateway に似た LLM ゲートウェイを、マークアップ・課金モデル・リージョン・学習データ利用の四軸で比較した、現場からお送りしました。