Amazon Bedrock Intelligent Prompt Routing

概要

Amazon Bedrock Intelligent Prompt Routing は、モデルファミリー内のさまざまな基盤モデルにプロンプトをルーティングし、応答の質とコストを最適化するのをサポートします。Intelligent Prompt Routing を使用すると、精度を損なうことなくコストを最大 30% 削減できます。

より低いコストでパフォーマンスを最大化

デベロッパーにとって、どのクエリにより高度なモデルが必要なのか、またはより小さく、高速で、低コストのモデルで機能するのかを把握することは難しい場合があります。Intelligent Prompt Routing は、高度なプロンプトマッチングとモデル理解の手法を用いて、各リクエストにおける各モデルのパフォーマンスを予測し、最も低いコストで必要な応答を返す可能性が最も高いと予測されるモデルに対して、各リクエストを動的にルーティングします。Anthropic (Haiku、Haiku 3.5、Claude Sonnet 3.5 v1、Claude Sonnet 3.5 v2)、Meta Llama (3.1 8b、70b、3.2 11B、90B および 3.3 70B)、ならびに Amazon Nova (Nova Lite および Nova Pro) では、同じファミリーの任意の 2 つのモデルを使用してプロンプトルーターを設定できます。

開発作業を削減

アプリケーションで必要なパフォーマンスとコストを実現するには、多くの場合、複雑なオーケストレーションワークフローを開発し、精度の点で必要なパフォーマンスを実現するために、経験に基づいて各リクエストを最適なモデルにルーティングする必要があります。Intelligent Prompt Routing を使用すると、Amazon Bedrock が提供するデフォルトのプロンプトルーターを選択するか、独自のプロンプトルーターを設定することで、さまざまなモデルのテストと複雑なオーケストレーションワークフローの作成にかかる数か月分の労力を節約できます。モデルファミリーから 2 つのモデルを選択し、ルーターのルーティング基準を設定することで、簡単にルーターを設定できます。