examlab .net 用最有效率的方法,考取最有價值的認證
Vol. I
本篇導覽 約 35 分鐘

Amazon Bedrock——模型選擇與定價

6,850 字 · 約 35 分鐘閱讀 ·

完整 AIF-C01 指南,涵蓋 Amazon Bedrock 模型選擇。深入掌握 Bedrock 模型目錄(Claude、Titan、Llama、Mistral、Jurassic、Cohere、Stability AI)、隨選 vs 預置吞吐量、跨區推論、Bedrock Agents、Knowledge Bases 與 Guardrails,並附考試陷阱、類比說明及 FAQ。

立即做 20 題練習 → 免費 · 不用註冊 · AIF-C01

Amazon Bedrock 模型選擇是 AWS Certified AI Practitioner(AIF-C01)考試中最常測驗的設計決策。Task Statement 3.1 要求你描述使用基礎模型(FM)的應用程式設計考量,而幾乎每個情境最終都會收斂到同一個核心問題:你要挑選哪個 Amazon Bedrock 模型,又要如何提供服務?本主題從頭到尾完整說明 Amazon Bedrock——包括 Amazon Bedrock 是什麼、完整的 Amazon Bedrock 模型目錄(Anthropic Claude、Amazon Titan、Amazon Nova、Meta Llama、Mistral、AI21 Jurassic 和 Jamba、Cohere、Stability AI)、Amazon Bedrock 模型選擇的六個評估軸(能力、成本、延遲、情境視窗、多模態、授權),以及 Amazon Bedrock 上的隨選(On-Demand)vs 預置吞吐量(Provisioned Throughput)、跨區推論(Cross-Region Inference)、Amazon Bedrock 模型評估、自訂模型匯入、Amazon Bedrock Agents 和 Amazon Bedrock Knowledge Bases。只要能針對特定情境選出正確的 Amazon Bedrock 模型並說明吞吐量選擇的理由,就能正確回答 Domain 3 的大多數題目。

本篇 Amazon Bedrock 模型選擇指南是針對 AIF-C01 基礎範疇所撰寫的。涉及生產工程的深度內容——例如 Amazon Bedrock Agents 的協調程式碼、微調工作流程、自訂 Guardrail 外掛程式——屬於 AWS Certified Machine Learning Engineer — Associate(MLA-C01)與未來 AWS Certified AI Practitioner Professional(AIP-C01)的考試範疇。AIF-C01 考的是「選擇」,而非「建構」。把握這個框架,每一道 Amazon Bedrock 題目都會變得有跡可循。

Amazon Bedrock 是什麼?

Amazon Bedrock 是一項全受管的 AWS 服務,透過單一 API 介面將多個供應商的基礎模型目錄公開給外部使用。你只需呼叫一個 API——InvokeModelConverse——Amazon Bedrock 便會依據你指定的 modelId,將請求路由到 Anthropic Claude、Amazon Titan、Amazon Nova、Meta Llama、Mistral、AI21 Jurassic 或 Jamba、Cohere,或 Stability AI。Amazon Bedrock 採無伺服器架構——你無需佈建 GPU、無需維護模型伺服器,也無需調整擴展策略。費用計算方式為每 1,000 個輸入 token 和每 1,000 個輸出 token(隨選),或以承諾固定每小時容量的方式計費(預置吞吐量)。

Amazon Bedrock 與 Amazon SageMaker 的差異可用一句話說明:Amazon Bedrock 是透過 API 呼叫別人的基礎模型,而 Amazon SageMaker 是從頭到尾建構、訓練並部署自己的模型。AIF-C01 考試非常喜歡考這個區別,請牢記於心。在 Amazon Bedrock 本身之內,還有幾項加值功能——用於工具呼叫的 Amazon Bedrock Agents、用於受管 RAG(檢索增強生成)的 Amazon Bedrock Knowledge Bases、用於內容安全的 Amazon Bedrock Guardrails、用於客觀基準測試的 Amazon Bedrock 模型評估,以及用於自攜權重的 Amazon Bedrock 自訂模型匯入。

為何 Amazon Bedrock 模型選擇對 AIF-C01 如此重要

AIF-C01 Domain 3——基礎模型應用——佔考試總分的 28%。Amazon Bedrock 在 Domain 3 的六個 Task Statement 中至少有四個被引用,並在 Domain 2(Task 2.3:生成式 AI 的 AWS 基礎架構)與 Domain 5(Task 5.1:透過 Amazon Bedrock Guardrails 保護 AI 系統)中再度出現。每個以「某公司想用 Anthropic Claude 新增聊天機器人」或「團隊需要從文字生成圖片」或「開發人員想要在不管理基礎架構的情況下以內部文件為模型回應接地(grounding)」為開頭的情境,最終都會指向 Amazon Bedrock 的選擇。社群痛點(來自 AIF-C01 考後回報)指出三個反覆出現的陷阱:將 Amazon Bedrock 與 Amazon SageMaker 混淆、將 Amazon Bedrock Guardrails 與 AWS IAM 混淆,以及誤判何時應為 Amazon Bedrock 購買預置吞吐量而非維持隨選模式。

AIF-C01 與 AIP-C01 的 Amazon Bedrock 範疇說明

AIF-C01(AI Practitioner)測驗的是對 Amazon Bedrock 功能的認識與模型選擇推理能力。你必須知道哪個 Amazon Bedrock 模型適合哪種使用案例、Amazon Bedrock 上的預置吞吐量是什麼,以及為何 Amazon Bedrock Knowledge Bases 存在。AIP-C01(未來的專業級認證)預計將測驗更深入的 Amazon Bedrock Agents 工作流程設計、微調工作設定與生產監控。如果練習題要求你撰寫 Amazon Bedrock Agents 的 Action Group Schema 或調整預置吞吐量承諾等級,那屬於 AIP-C01 的領域,不屬於 AIF-C01。

白話文解釋 Amazon Bedrock 模型選擇

Amazon Bedrock 模型選擇聽起來令人卻步,但用類比拆解後就一目了然。以下三個畫面足以涵蓋整個概念。

類比一——熱炒店菜單(熱炒店)

想像你走進一家熱炒店,菜單上有來自不同主廚的各式料理。Amazon Bedrock 就是這家熱炒店,而目錄上的每個基礎模型都是不同師傅做的一道菜。

  • Anthropic Claude 是招牌功夫菜——工法精細、口感層次豐富,適合需要長篇對話與深度推理的場合。
  • Amazon Titan 和 Amazon Nova 是店家自製的家常料理——親民實惠、穩定可靠,供應鏈完全掌握在自家手中。
  • Meta Llama 是家傳食譜——食材清單公開透明,廚房也樂意讓你把食譜帶回家(需遵守授權條件)。
  • Mistral 是簡約的小館料理——食材精省、效率高,適合大量點單。
  • AI21 Jurassic 和 Jamba 是滿漢全席的流水席——超長菜序(極大情境視窗)專為大篇幅文件設計。
  • Cohere 是企業外燴套餐——針對大規模摘要、分類與嵌入(Embeddings)調校。
  • Stability AI 是甜點站——用 Stable Diffusion 把文字變成圖片。

你這位客人(開發人員)只需告訴服務生(Amazon Bedrock API)一件事:「我要 Claude 3.5 Sonnet,情境視窗給 8K。」廚房自己搞定剩下的事。Amazon Bedrock 上的預置吞吐量就像預訂一張保留桌位並預付套餐費用——桌位隨時都在,但不管你來不來都要付錢。Amazon Bedrock 的隨選模式則是現場候位——偶爾用餐時較划算,但餐廳客滿時就得等。

這個類比說明了一件事:Amazon Bedrock 不是自己從頭烹調每一道基礎模型。Amazon Bedrock 是餐廳管理層;真正的主廚(Anthropic、Meta、Mistral、Amazon、AI21、Cohere、Stability AI)才是基礎模型供應商。你對 Amazon Bedrock 模型的選擇,本質上是在選主廚。

類比二——電力網格(電網)

把 Amazon Bedrock 想像成生成式 AI 的電力網格。

  • 每個 Amazon Bedrock 基礎模型供應商都是不同的發電廠——Anthropic 運營核電廠(高能力、穩定輸出),Amazon 運營水力發電廠(Titan 和 Nova,廉價可靠),Meta 運營風力發電場(Llama,開放且彈性),Mistral 運營太陽能陣列(精簡高效)。
  • Amazon Bedrock API 是輸電網路——你插上插頭就有電,完全不必知道電從哪座電廠來。
  • Amazon Bedrock 的隨選定價是民用電費——按度(token)計費。
  • Amazon Bedrock 上的預置吞吐量是工業用電合約——承諾每小時用電 X 百萬瓦,期限 1 個月或 6 個月,享有量折優惠並保證容量。
  • Amazon Bedrock 的跨區推論是全國電網互聯——本地電廠滿載時,電網自動從鄰近區域調電,使用者完全無感。
  • Amazon Bedrock Guardrails 是斷路器——一旦有危險電流(有害內容)試圖通過,立即跳閘。
  • Amazon Bedrock 自訂模型匯入是自家屋頂上的私人太陽能板接入電網——你帶來自己的模型權重,Amazon Bedrock 負責代管。

電網類比解釋了為何 Amazon Bedrock 的價值不在模型本身,而在整合能力:統一 API、統一身份驗證、統一日誌記錄、統一 Guardrails、統一監控。就像沒有人會為一棟房子自建發電廠,同樣地,團隊選擇 Amazon Bedrock 而非在 EC2 GPU 上自行託管開源模型,道理如出一轍。

類比三——師傅的工具箱(工具箱)

想像一位木工師傅的工具箱,工具箱本身就是 Amazon Bedrock。箱子裡的每個基礎模型都是一種不同用途的工具。

  • Claude 3.5 Sonnet 是精密鑿刀——每一刀都慢而昂貴,細節無可比擬。適用於程式開發輔助、長篇寫作與複雜推理。
  • Claude 3 Haiku 是萬用美工刀——快速、廉價,能應付日常 80% 的切削需求。適用於高流量聊天、摘要與分類。
  • Amazon Titan Text 是自家品牌鐵鎚——穩定、低成本,足以應付大多數通用任務。
  • Amazon Nova Micro、Lite 和 Pro 是三件組活動扳手——不同尺寸對應不同工作,全出自同一製造商。
  • Meta Llama 3.1 70B 是電動鑽頭——高吞吐量、開放權重,可加裝各種配件(微調)。
  • Mistral Large 是瑞士銼刀——精簡高效,在歐洲語言與結構化輸出上表現突出。
  • AI21 Jamba 1.5 Large 是超長捲尺——情境視窗最高可達 256K token,適合閱讀整份合約。
  • Cohere Command R+ 是精密線鋸——專為 RAG 和多語言文字調校。
  • Stability AI Stable Diffusion 是噴漆槍——把文字變成圖片。
  • Amazon Titan Embeddings 和 Cohere Embed 是精密游標卡尺——不用來建造,用來測量相似度(向量搜尋的嵌入)。

不會在美工刀就夠用時拿出精密鑿刀,也不會在需要文字時拿起噴漆槍。Amazon Bedrock 模型選擇正是如此:依能力、成本、延遲、情境視窗、多模態和授權六個維度,將工具與工作精確匹配。

Amazon Bedrock 模型目錄——供應商與系列

Amazon Bedrock 目錄是 Amazon Bedrock 模型選擇的核心。以下是 AIF-C01 必須認識的供應商系列。考試題目通常描述一個使用案例,點出某種行為特徵(長情境、圖片生成、低成本摘要、代理工具呼叫),再要求你選出最符合的 Amazon Bedrock 模型系列。

Amazon Bedrock 上的 Anthropic Claude

Anthropic Claude 是 Amazon Bedrock 上能力最強的文字基礎模型系列。Amazon Bedrock 上的 Claude 系列包含 Claude 3.5 Sonnet(旗艦推理與程式開發)、Claude 3.5 Haiku(快速、廉價,能力足以應付大多數生產聊天場景)、Claude 3 Opus(推理最深、成本最高)、Claude 3 Sonnet(均衡)及 Claude 3 Haiku(原始快速版本)。Amazon Bedrock 上的 Claude 支援最高 200K token 的情境視窗、視覺輸入(圖片加文字),以及 Amazon Bedrock Agents 的工具呼叫功能。

Claude 在需要謹慎遵循指令、細緻推理、程式生成、長文件摘要與多輪對話的任務上表現突出。在 AIF-C01 考試中,凡是情境提到「最高品質的助理」、「程式開發副駕駛」、「對長文件進行複雜推理」或「具工具呼叫能力的多輪代理」,均指向 Amazon Bedrock 上的 Claude。

Amazon Bedrock 上的 Amazon Titan 和 Amazon Nova

Amazon Titan 是 Amazon Bedrock 上 AWS 自家的第一方基礎模型系列。Amazon Titan Text Express 和 Titan Text Lite 以低成本處理通用文字生成。Amazon Titan Text Embeddings 和 Titan Text Embeddings V2 為語意搜尋和 RAG 產生向量嵌入。Amazon Titan Image Generator 從文字生成圖片。Amazon Titan Multimodal Embeddings 將文字與圖片編碼到同一向量空間。

Amazon Nova 是 Amazon Bedrock 上更新的 AWS 基礎模型系列,於 2024 年 re:Invent 發表。Amazon Nova Micro、Nova Lite 和 Nova Pro 是針對低成本、低延遲調校的文字與多模態模型。Amazon Nova Canvas 生成圖片,Amazon Nova Reel 生成短影片。在 AIF-C01 中,當情境強調預算考量、僅限 AWS 供應商的合規要求,或用於 Amazon Bedrock Knowledge Bases 的嵌入時,Amazon Titan 和 Amazon Nova 是「AWS 原生、成本最佳化」的答案。

Amazon Bedrock 上的 Meta Llama

Amazon Bedrock 上的 Meta Llama 模型(Llama 3、Llama 3.1、Llama 3.2、Llama 3.3,含多種參數規模——8B、70B、405B,以及視覺版本)是透過 Amazon Bedrock API 提供的開放權重基礎模型。當團隊需要開放授權(Llama Community License)、多語言支援和大參數量時,Amazon Bedrock 上的 Llama 極具吸引力。Llama 3.2 新增了視覺能力。在 AIF-C01 中,Llama 答案適合強調「透過受管 API 使用開源模型」或「將從 SageMaker JumpStart 微調的 Llama 帶回 Amazon Bedrock」的情境。

Amazon Bedrock 上的 Mistral

Amazon Bedrock 上的 Mistral AI 模型包含 Mistral 7B、Mixtral 8x7B、Mistral Large、Mistral Large 2 和 Mistral Small。Amazon Bedrock 上的 Mistral 以高效的參數量、強健的結構化輸出行為、出色的歐洲語言覆蓋率以及具競爭力的成本著稱。當情境提到「高效的小模型」、「結構化 JSON 輸出」或「歐洲語言處理」時,選 Amazon Bedrock 上的 Mistral。

Amazon Bedrock 上的 AI21 Labs Jurassic 和 Jamba

Amazon Bedrock 上的 AI21 Labs 提供 Jurassic-2 系列(指令調整式文字生成)以及較新的 Jamba 1.5 Mini 和 Jamba 1.5 Large。Jamba 採用混合式 Transformer-Mamba 架構,支援最高 256K token 的情境視窗——是 Amazon Bedrock 上最大的之一。當情境強調「超長情境」、「合約分析」或「整份程式碼庫的推理」時,選 Amazon Bedrock 上的 AI21 Jamba。

Amazon Bedrock 上的 Cohere

Amazon Bedrock 上的 Cohere 包含 Command、Command Light、Command R 和 Command R+(文字生成),以及 Cohere Embed English 和 Cohere Embed Multilingual(嵌入)。Amazon Bedrock 上的 Cohere Command R+ 明確針對 RAG 和工具呼叫進行調校。當情境提到「企業級 RAG」、「用於 Amazon Bedrock Knowledge Bases 的多語言嵌入」或「大規模摘要」時,選 Amazon Bedrock 上的 Cohere。

Amazon Bedrock 上的 Stability AI

Amazon Bedrock 上的 Stability AI 提供 Stable Diffusion(SD3、SDXL、SD3.5 Large),用於文字轉圖片生成與圖片轉圖片變換。當使用案例為圖片生成、行銷創意自動化或合成圖片資料時,選 Amazon Bedrock 上的 Stability AI。

Amazon Bedrock Model ID 是你傳遞給 Amazon Bedrock API 以選取特定基礎模型和版本的字串,例如 anthropic.claude-3-5-sonnet-20241022-v2:0amazon.titan-text-express-v1。Amazon Bedrock Model ID 中編碼了供應商、模型系列、變體、日期和版本——請謹慎選擇,因為 Amazon Bedrock 上的模型版本不會在你不知情的情況下自動升級。 Source ↗

Amazon Bedrock 模型選擇的六個評估軸——如何做決定

每一個 Amazon Bedrock 模型選擇決策都落在六個評估軸上。請熟記這六個軸;AIF-C01 的情境題幾乎都是以偽裝形式出現的評估軸問題。

評估軸一——能力

模型的推理能力如何?能否遵循複雜指令?能否以資深工程師的水準撰寫程式?Amazon Bedrock 模型大致排列如下:Claude 3.5 Sonnet 和 Claude 3 Opus 在通用推理頂端,其次是 Llama 3.1 405B、Mistral Large 2、Nova Pro、Command R+、Jamba 1.5 Large。在多模態視覺方面,Amazon Bedrock 上以 Claude 3.5 Sonnet、Nova Pro 和 Llama 3.2 領先。在圖片生成方面,Stability AI Stable Diffusion 和 Amazon Titan Image Generator 及 Nova Canvas 是 Amazon Bedrock 上的主要選項。

評估軸二——成本

Amazon Bedrock 隨選定價以每 1,000 個輸入 token 和每 1,000 個輸出 token 報價,輸出 token 的成本永遠高於輸入 token。在同一系列中,小型模型比旗艦模型便宜 5 到 20 倍。在 Amazon Bedrock 上,Claude 3.5 Haiku 的費用大約比 Claude 3.5 Sonnet 低一個數量級,Nova Micro 則更便宜。對於高流量、低複雜度的任務(分類、短摘要、實體擷取),較便宜的 Amazon Bedrock 模型通常在單位經濟效益上勝出。

評估軸三——延遲

首 token 時間(time-to-first-token)和每秒 token 數(tokens-per-second)因 Amazon Bedrock 模型而異。較小的模型(Haiku、Nova Micro、Mistral Small)對互動式 UX 的回應速度更快;較大的模型(Opus、Llama 405B)需要更長時間。對於即時聊天,請選擇能滿足能力要求的最小 Amazon Bedrock 模型,而非最大的。對於批次摘要,延遲的重要性較低,能力才是主導因素。

評估軸四——情境視窗

情境視窗是提示詞、對話歷史與擷取情境加總後的 token 上限。Amazon Bedrock 模型的情境視窗從 4K(部分較舊的 Titan 和 Jurassic)到 200K(Claude 3 和 3.5)乃至 256K(Jamba 1.5 Large)不等。如果情境需要對一份 300 頁的合約進行推理,就需要一個至少具備 200K token 情境視窗的 Amazon Bedrock 模型——或是搭配 Amazon Bedrock Knowledge Bases(RAG),以僅擷取相關段落的方式搭配較小情境視窗的模型使用。

評估軸五——多模態

並非每個 Amazon Bedrock 模型都接受圖片輸入。Amazon Bedrock 上的 Claude 3、Claude 3.5、Nova Lite、Nova Pro 和 Llama 3.2 Vision 支援圖片加文字輸入。如果情境提到「分析這張截圖」或「描述一張產品照片」,就必須選擇具備視覺能力的 Amazon Bedrock 模型。對於圖片輸出(文字轉圖片),Stable Diffusion、Titan Image Generator 和 Nova Canvas 是 Amazon Bedrock 上的答案。

評估軸六——授權與資料政策

所有 Amazon Bedrock 模型供應商均保證,客戶的提示詞和補全結果不會用於訓練基礎模型——這是 Amazon Bedrock 一致的承諾。在此之上,授權各有不同:Anthropic Claude、Amazon Titan 和 Amazon Nova 為專有授權;Meta Llama 採用 Llama Community License;Mistral 在部分版本上採用 Apache 2.0,Large 版本則採用商業授權。對於 AIF-C01,你不需要背誦授權條款,但應知道「客戶資料永遠不會訓練基礎模型」是 Amazon Bedrock 上的預設保證。

在 AIF-C01 中,請依序問六個問題:我需要什麼能力等級?我的每 token 預算是多少?使用者感受到的延遲可以接受多少?我的情境有多長?我需要圖片輸入或輸出嗎?是否有授權限制?這些答案會將 Amazon Bedrock 目錄縮小到一兩個候選模型,而情境中的形容詞(最高品質、最便宜、最快、最長情境、視覺、開源)則決定最終的 Amazon Bedrock 模型。 Source ↗

Amazon Bedrock 定價模式——隨選 vs 預置吞吐量

Amazon Bedrock 提供三種付費方式:隨選(On-Demand)、批次(Batch)和預置吞吐量(Provisioned Throughput)。AIF-C01 考試最常測驗隨選與預置吞吐量之間的選擇。

Amazon Bedrock 上的隨選

Amazon Bedrock 上的隨選按每 1,000 個輸入 token 和每 1,000 個輸出 token 計費,無需承諾、無最低消費,容量在所有 Amazon Bedrock 客戶之間共享。隨選是應對變動、不可預測或尖峰負載的正確 Amazon Bedrock 定價模式。開發環境、概念驗證(PoC),以及大多數生產聊天應用程式都會從隨選開始並長期維持隨選。

優點:無承諾義務、按實際使用量付費、可輕鬆縮減至零。 缺點:共用容量意味著高峰時段無吞吐量保證;部分進階功能(例如自訂微調模型)需要 Amazon Bedrock 上的預置吞吐量。

Amazon Bedrock 上的批次(Batch)

Amazon Bedrock 上的批次推論讓你將一批提示詞上傳至 Amazon S3,Amazon Bedrock 以非同步方式(以小時計,而非秒計)處理後,將結果送回 Amazon S3。Amazon Bedrock 上的批次費用大約是隨選價格的一半。對於隔夜文件摘要、夜間內容審核或大量嵌入生成——任何不在意延遲的場景——請使用 Amazon Bedrock 上的批次。

Amazon Bedrock 上的預置吞吐量

Amazon Bedrock 上的預置吞吐量(PT)以固定每小時費率為特定模型預留專屬容量。你承諾一個期限——無承諾、1 個月或 6 個月——並購買「模型單元(MU)」,每個 MU 保證一定的每分鐘輸入與輸出 token 吞吐量。Amazon Bedrock 上的預置吞吐量在以下情況是必要的:

  • Amazon Bedrock 上的自訂微調模型。
  • Amazon Bedrock 上的自訂匯入模型。
  • 需要保證延遲或吞吐量 SLA 的生產工作負載。
  • 穩態 token 量很高,足以超越隨選成本等效臨界值的場景。

成本等效臨界值是損益平衡點:如果每小時穩態 token 量超過 PT 每小時費用的隨選等效金額,PT 就會更便宜。低於該臨界值,隨選勝出。

一個常見的 AIF-C01 陷阱:誤以為 Amazon Bedrock 上的預置吞吐量提供無限容量。事實並非如此。Amazon Bedrock 上的每個模型單元都有固定的每分鐘 token 上限。超過上限後,請求會被節流。Amazon Bedrock 上的預置吞吐量是關於保留基準容量,而非彈性擴展。如果流量呈尖峰且不可預測,正確答案是 Amazon Bedrock 上的隨選或跨區推論,而非預置吞吐量。 Source ↗

AIF-C01 的實用原則:除非以下三種情況之一成立,否則維持 Amazon Bedrock 上的隨選。第一,你已在 Amazon Bedrock 上部署自訂微調或匯入的模型——此時 PT 是強制要求。第二,你需要為生產 SLA 提供可預測的延遲,而隨選節流正在影響你。第三,你的穩態 token 量高到 PT 每小時費率低於等效隨選消費。否則,不要在 Amazon Bedrock 上購買 PT。 Source ↗

Amazon Bedrock 上的跨區推論

Amazon Bedrock 上的跨區推論(Cross-Region Inference)是一項路由功能,讓 Amazon Bedrock 執行環境能在本區滿載時,自動從另一個 AWS 區域提供服務,而你無需更改 modelId 或重寫程式碼。你透過使用跨區推論設定檔(一個整合多個區域的推論設定檔 ID)來啟用此功能。

Amazon Bedrock 上的跨區推論可在流量尖峰時提高可用性、減少節流,並提供更佳的每 token 吞吐量。資料保持在一個地理邊界群組內(例如,US 推論設定檔僅在美國區域之間路由),這對資料駐留考量很重要。對於 AIF-C01,請記住:當情境提到「流量尖峰、不想承諾容量、想減少節流」時,Amazon Bedrock 上的跨區推論就是答案。若情境要求嚴格的單一區域限制,跨區推論不是解決資料駐留問題的答案。

Amazon Bedrock 上的跨區推論旨在緩和短期容量不足並改善吞吐量可用性。它不是災難復原(DR)的容錯移轉機制,也不是為遠端用戶降低延遲的功能。AIF-C01 中提到「在尖峰時段減少節流」的情境指向跨區推論;提到「跨區域主動-主動 DR」或「東京的使用者應命中東京端點」的情境則是不同的問題。 Source ↗

Amazon Bedrock 模型評估

Amazon Bedrock 模型評估是內建的工作類型,使用自動化指標或人工審閱者對 Amazon Bedrock 模型進行特定任務的基準測試。你上傳提示詞資料集(附有預期輸出以供基準評估,或不附輸出以進行偏好比較),選取一個或多個 Amazon Bedrock 模型,選擇任務類型——通用文字、文字摘要、問答或文字分類——Amazon Bedrock 執行評估工作、生成指標報告,並將結果儲存至 Amazon S3。

Amazon Bedrock 上的自動化評估

Amazon Bedrock 模型評估的自動化版本會計算特定任務指標:準確率(分類)、F1(問答)、BLEU 和 ROUGE(摘要與翻譯)、BERTScore(語意相似度),以及穩健性和毒性分數。無需人工介入——結果依資料集大小在幾分鐘到幾小時內就緒。

Amazon Bedrock 上的人工評估

Amazon Bedrock 上的人工評估將模型輸出路由給你自己的團隊(自備評估人力)或 AWS 管理的評估人力。審閱者依照你定義的維度對回應評分——相關性、連貫性、無害性、風格匹配、事實準確性——透過按讚/踩、李克特量表或排序比較進行。

Amazon Bedrock 上的 RAG 評估

Amazon Bedrock 模型評估也支援 RAG 評估:給定一個 Amazon Bedrock Knowledge Base 和提示詞資料集,它會同時衡量擷取品質(情境相關性、精確率、召回率)和生成品質(回答對所擷取情境的忠實度)。

對於 AIF-C01,當情境詢問「我們如何客觀地在 Claude 3.5 Sonnet 和 Llama 3.1 70B 之間做出選擇」時,請將 Amazon Bedrock 模型評估視為受管、便於比較的答案。

Amazon Bedrock 自訂模型匯入

Amazon Bedrock 自訂模型匯入讓你將外部訓練的開放權重模型帶入 Amazon Bedrock,並透過與內建目錄相同的 Amazon Bedrock API 介面呼叫它。支援的架構包含 Llama、Mistral、Mixtral、Flan 及相容變體;你將權重上傳至 Amazon S3,Amazon Bedrock 註冊並代管該模型,你透過 modelId 調用它,方式與任何第一方 Amazon Bedrock 模型相同。

Amazon Bedrock 上的自訂匯入模型永遠以預置吞吐量執行——任意匯入的權重沒有隨選容量池。這是一個常見的 AIF-C01 陷阱:如果情境提到「我們在自己的 GPU 上微調了 Llama,現在想透過 Amazon Bedrock 提供服務」,正確答案包含 Amazon Bedrock 自訂模型匯入加上預置吞吐量。

對於 AIF-C01:Amazon Bedrock 上的任何自訂微調或自訂匯入模型都需要預置吞吐量。隨選定價僅適用於 Amazon Bedrock 第一方目錄模型。如果情境提到「以隨選定價從 Amazon Bedrock 低成本提供我們微調的 Llama 服務」,這是不可能的——正確答案是 Amazon Bedrock 上的預置吞吐量,或改用 Amazon SageMaker 端點代管。 Source ↗

Amazon Bedrock Agents

Amazon Bedrock Agents 是協調功能,將 Amazon Bedrock 上的基礎模型轉變為能呼叫工具、執行多步驟的代理。一個 Amazon Bedrock Agent 的設定包含:

  • 一個基礎模型(通常是 Amazon Bedrock 上的 Claude)作為推理大腦。
  • 一個或多個 Action Groups——代理可呼叫的 OpenAPI Schema 或 AWS Lambda 函式。
  • 選用:附加的 Amazon Bedrock Knowledge Bases 以供擷取使用。
  • 定義代理角色、目標與限制的指令提示詞。

當用戶發送請求時,Amazon Bedrock Agent 會規劃步驟、挑選動作、呼叫 Lambda 或 Knowledge Bases、觀察結果,並持續迭代直到任務完成。整個協調迴圈在 Amazon Bedrock 內部執行——你不需要自己撰寫計畫-行動-觀察的迴圈,這是與自行實作代理框架的關鍵差異。

AIF-C01 上 Amazon Bedrock Agents 的典型使用案例:可透過 API 查詢訂單狀態的客戶支援機器人、可透過 Lambda 查詢資料庫的內部營運助理、可執行函式的程式開發助理。如果情境提到「多步驟任務」、「代理呼叫 API」或「協調工具呼叫」,答案就是 Amazon Bedrock Agents。

Amazon Bedrock Knowledge Bases

Amazon Bedrock Knowledge Bases 是 Amazon Bedrock 上受管的 RAG(檢索增強生成)流水線。你連接資料來源(Amazon S3、Confluence、Salesforce、SharePoint、網路爬取),Amazon Bedrock Knowledge Bases 對文件進行分塊、使用嵌入模型(Amazon Titan Text Embeddings 或 Cohere Embed)生成嵌入、將向量儲存至支援的向量資料庫(Amazon OpenSearch Serverless、附 pgvector 的 Amazon Aurora PostgreSQL、Pinecone、Redis Enterprise Cloud、MongoDB Atlas),並公開一個 RetrieveAndGenerate API,以單次呼叫完成擷取加生成。

Amazon Bedrock Knowledge Bases 消除了自行建構 RAG 堆疊的運維負擔:無需自訂分塊程式碼、無需嵌入協調、無需向量資料庫佈建邏輯。你支付底層服務費用(OpenSearch Serverless OCU、Amazon Bedrock 上的嵌入 token、Amazon Bedrock 上的生成 token)以及標準 Amazon Bedrock 定價。對於 AIF-C01,當情境提到「以最少基礎架構讓模型回應以私有文件接地」時,請將 Amazon Bedrock Knowledge Bases 視為答案。

RetrieveAndGenerate 是單一 Amazon Bedrock API 呼叫,接受用戶查詢、從 Amazon Bedrock Knowledge Base 擷取相關段落、將其注入提示詞,並調用所選的 Amazon Bedrock 基礎模型以生成含引用來源的接地回答。它將原本需要五個步驟的流水線(嵌入查詢 → 搜尋向量資料庫 → 重新排序 → 組裝提示詞 → 調用模型)壓縮成 Amazon Bedrock 上的一個受管呼叫。 Source ↗

Amazon Bedrock Guardrails

Amazon Bedrock Guardrails 對提示詞和模型補全結果套用可程式化的內容安全政策。Amazon Bedrock 上的 Guardrail 可以封鎖或遮蔽:

  • 有害內容類別(仇恨、暴力、性、侮辱、不當行為),可設定嚴重程度等級。
  • 禁止的主題(例如:「禁止財務建議」、「禁止醫療診斷」),以名稱和範例句定義。
  • 特定詞彙和片語(不雅詞清單、競爭對手名稱)。
  • 個人識別資訊(PII),例如社會安全碼、電話號碼、電子郵件——可選擇封鎖或遮蔽。
  • 無接地的回應(透過情境接地檢查),標記不受所擷取 Amazon Bedrock Knowledge Base 情境支撐的補全結果。

Amazon Bedrock Guardrails 透過 guardrailIdentifier 附加至 InvokeModel 呼叫,並在所有支援的 Amazon Bedrock 文字模型上生效。關鍵點:Amazon Bedrock Guardrails 與 AWS IAM 截然不同——Guardrails 管理內容安全,IAM 管理誰可以呼叫 Amazon Bedrock。將兩者混淆是 AIF-C01 的頭號陷阱。

AIF-C01 頻繁提供干擾選項,建議用 AWS IAM 政策來「過濾仇恨言論」或「從模型輸出中遮蔽 PII」。IAM 不做這些事。Amazon Bedrock 上的 AWS IAM 控制的是主體是否能呼叫 bedrock:InvokeModel、他們可以指定哪些模型,以及可以附加哪些 Guardrail ID——這是存取控制。Amazon Bedrock 上的內容安全過濾是 Amazon Bedrock Guardrails 的職責。如果情境涉及推論時的內容過濾或 PII 遮蔽,選 Amazon Bedrock Guardrails;如果涉及誰可以調用哪個模型,選 AWS IAM。 Source ↗

Amazon Bedrock vs Amazon SageMaker

Amazon Bedrock vs Amazon SageMaker 的選擇是 Domain 3 中被問最多次的 AIF-C01 問題。請將以下比較表內化於心。

維度 Amazon Bedrock Amazon SageMaker
主要用途 透過 API 呼叫預建基礎模型 建構、訓練並部署自己的模型
基礎架構 完全無伺服器 受管但可見的執行個體
典型使用者 應用程式開發人員 資料科學家或 ML 工程師
定價單位 每 token 或每小時 MU 每執行個體小時
客製化方式 提示工程、微調、RAG 完整演算法選擇、自訂訓練程式碼
模型目錄 Anthropic、Amazon、Meta、Mistral、AI21、Cohere、Stability AI 任何你能撰寫程式碼的演算法或 JumpStart 模型
運維負擔 極低 顯著(資料準備、調校、監控)
最適情境 生成式 AI 應用、聊天機器人、RAG、代理 自訂詐欺偵測模型、預測、領域特定電腦視覺

兩項服務共享與 CLF-C02 規則相同的核心區別:Amazon Bedrock 呼叫別人的基礎模型;Amazon SageMaker 建構你自己的。Amazon SageMaker JumpStart 透過代管可供微調並部署至 SageMaker 端點的預訓練基礎模型,使界線略有模糊,但 AIF-C01 考試通常保持界線清晰——透過單次呼叫使用基礎模型 API 意味著 Amazon Bedrock。

Amazon Bedrock vs Amazon Q

Amazon Q 是建構在 Amazon Bedrock 之上、面向終端用戶的打包式生成式 AI 助理。Amazon Q Business 連接企業內容,以引用來源回答員工問題;Amazon Q Developer 嵌入 IDE 和 AWS Console,協助撰寫和除錯程式碼;Amazon Q in QuickSight 生成 BI 敘事;Amazon Q in Connect 協助客服中心客服人員。Amazon Q 是非開發人員使用的產品,Amazon Bedrock 是開發人員從程式碼呼叫的服務。

在 AIF-C01 中,題目描述為「業務人員想要一個內部文件的聊天介面,不需撰寫程式碼」時,指向 Amazon Q Business(其底層使用 Amazon Bedrock)。題目描述為「開發人員想要透過 API 存取 Claude 或 Llama 以建構自訂生成式 AI 應用」時,直接指向 Amazon Bedrock。

Amazon Bedrock 與其他 AWS 服務的整合

Amazon Bedrock 設計上能與其他 AWS 服務無縫組合。

  • Amazon S3 — Amazon Bedrock Knowledge Bases 文件的來源、批次推論的輸入/輸出,以及自訂模型匯入的權重儲存。
  • AWS Lambda — 被 Amazon Bedrock Agents 作為 Action Group 處理器調用;也是從無伺服器應用程式呼叫 Amazon Bedrock 的常見客戶端。
  • Amazon OpenSearch Serverless — Amazon Bedrock Knowledge Bases 的預設向量資料庫。
  • Amazon Aurora PostgreSQL(pgvector) — Amazon Bedrock Knowledge Bases 的替代向量資料庫。
  • AWS IAM — 控制 bedrock:InvokeModelbedrock:InvokeModelWithResponseStreambedrock-agent:InvokeAgent 以及 Guardrail 附加/分離的權限。
  • Amazon CloudWatch — Amazon Bedrock 調用次數、延遲、節流的指標。
  • AWS CloudTrail — 每次 Amazon Bedrock API 呼叫的稽核日誌。
  • AWS KMS — 用於加密 Amazon Bedrock 上的自訂模型成品、微調資料集和 Knowledge Base 儲存的客戶自管金鑰。
  • VPC Endpoints(AWS PrivateLink) — 讓 Amazon Bedrock 呼叫永不經過公共網際網路的私有連線。
  • Amazon SageMaker — 微調後模型匯入 Amazon Bedrock 的來源,或在 Amazon Bedrock 不適用時的替代代管目標。

常見的 Amazon Bedrock 考試陷阱

  • Amazon Bedrock vs Amazon SageMaker — 若情境提到訓練、筆記本或超參數,答案是 Amazon SageMaker;若提到基礎模型、Claude、Titan、Nova、Llama 或生成式 AI API,答案是 Amazon Bedrock。
  • Amazon Bedrock Guardrails vs AWS IAM — Guardrails 過濾內容;IAM 控制誰可以呼叫 API。不可混淆。
  • Amazon Bedrock 預置吞吐量 vs 隨選 — 隨選是預設且最便宜的選擇,適合變動負載。預置吞吐量是自訂匯入模型的強制要求,並用於保證 SLA,而非一般擴展用途。
  • Amazon Bedrock 上的跨區推論 — 這是容量平滑功能,不是 DR 架構,也不是為遠端用戶降低延遲的方案。
  • Amazon Bedrock Knowledge Bases vs 自行建構 RAG — 若情境提到「最少基礎架構」、「受管 RAG」或「S3 加向量資料庫加生成一次呼叫完成」,答案是 Amazon Bedrock Knowledge Bases。
  • Amazon Bedrock Agents vs AWS Step Functions — Step Functions 協調確定性工作流程。Amazon Bedrock Agents 協調 LLM 驅動的非確定性工具呼叫。這是截然不同的兩種模式。
  • Amazon Bedrock 模型評估 vs 人工測試 — 若問題強調「基礎模型之間的客觀指標比較」,選 Amazon Bedrock 模型評估。不要在受管方案已存在時自行發明評估流水線。
  • Amazon Bedrock 自訂模型匯入 vs Amazon Bedrock 上的微調 — Amazon Bedrock 上的微調以支援的基礎模型為起點並繼續訓練;自訂模型匯入則是將外部訓練的權重(來自 Amazon Bedrock 以外)帶入並代管。兩者在提供服務時都需要預置吞吐量。
  • Amazon Titan vs Amazon Nova — 兩者都是 Amazon Bedrock 上的 AWS 原生基礎模型。Titan 是原始系列;Nova 是更新、更廣泛的系列,涵蓋文字、多模態、圖片和影片。當 2025 年以後的情境詢問「最新的 AWS 原生多模態模型」時,Nova 通常是預期答案。
  • Amazon Bedrock 上的視覺能力 — Claude 3 和 3.5、Nova Lite 和 Pro、Llama 3.2 Vision 接受圖片輸入。Titan Text Express 和 Jurassic-2 不接受。此處的混淆會導致答題失分。

Amazon Bedrock 必記數字與事實

  • Amazon Bedrock 隨選定價以每 1,000 token 計費;每個模型上的輸出 token 成本都高於輸入 token。
  • Amazon Bedrock 預置吞吐量承諾期限為無承諾、1 個月和 6 個月。承諾期限越長,折扣越深。
  • Amazon Bedrock 上的 Claude 3 和 3.5 支援最高 200K token 的情境視窗。
  • Amazon Bedrock 上的 Jamba 1.5 Large 支援最高 256K token 的情境視窗——截至撰寫本文時,是 Amazon Bedrock 公開目錄中最大的。
  • Amazon Bedrock Guardrails 可在調用時附加,也可設為模型的預設值。
  • Amazon Bedrock Knowledge Bases 支援 Amazon OpenSearch Serverless、Aurora PostgreSQL(pgvector)、Pinecone、Redis Enterprise Cloud 和 MongoDB Atlas 作為向量資料庫。
  • Amazon Bedrock Agents 支援 OpenAPI 3.0 Schema 和 AWS Lambda 作為動作後端。
  • Amazon Bedrock 上的客戶提示詞和補全結果永遠不會用於訓練基礎模型。
  • Amazon Bedrock 自訂模型匯入需要預置吞吐量才能推論。
  • Amazon Bedrock 上的跨區推論保持在地理邊界群組內(US、EU、APAC)。
  • Amazon Bedrock 批次推論大約是隨選每 token 定價的 50%。

實戰情境練習——AIF-C01 Amazon Bedrock 對應

情境一:一家新創公司想為其開發人員工具新增程式開發助理,需要對長 Python 檔案提供最高品質的推理,且可接受每次回應 1-2 秒的延遲。正確的 Amazon Bedrock 選擇:Claude 3.5 Sonnet

情境二:一個 SaaS 應用程式每天需要將 1,000 萬則短客服訊息分類到 12 個類別。成本是主要限制;在高流量下的品質比頂尖推理能力更重要。正確的 Amazon Bedrock 選擇:Claude 3.5 HaikuAmazon Nova Micro/Lite(批次推論可進一步降低成本)。

情境三:一個法律團隊必須從頭到尾摘要 300 頁的合約,不允許分塊。正確的 Amazon Bedrock 選擇:AI21 Jamba 1.5 Large(256K 情境視窗)或 Claude 3.5 Sonnet(200K 情境視窗)。

情境四:一個行銷團隊想從文字描述生成符合品牌風格的產品圖片。正確的 Amazon Bedrock 選擇:Stability AI Stable DiffusionAmazon Titan Image GeneratorAmazon Nova Canvas

情境五:一家公司在 AWS 外部以自有資料集微調了 Llama 模型,希望透過應用程式已使用的同一 Amazon Bedrock API 提供服務。正確的 Amazon Bedrock 選擇:Amazon Bedrock 自訂模型匯入搭配預置吞吐量

情境六:一個企業希望建立以 Confluence、SharePoint 和 S3 文件接地的聊天助理,要求最少基礎架構,並受管分塊、嵌入和擷取流程。正確的 Amazon Bedrock 選擇:Amazon Bedrock Knowledge Bases,以 Claude 或 Nova 作為生成模型。

情境七:一個客戶支援機器人需要在多輪對話中呼叫內部訂單狀態和物流 API,以端對端解決工單。正確的 Amazon Bedrock 選擇:Amazon Bedrock Agents,搭配 Lambda Action Groups,以 Claude 作為推理模型。

情境八:一個生產聊天機器人在尖峰時段遭遇節流。團隊不想承諾每月預留容量。正確的 Amazon Bedrock 選擇:啟用 Amazon Bedrock 上的跨區推論

情境九:一個醫療保健客戶需要確保聊天機器人永遠不提供醫療診斷,且必須從輸出中遮蔽病患姓名。正確的 Amazon Bedrock 選擇:Amazon Bedrock Guardrails,搭配禁止主題和 PII 過濾器。

情境十:AI 團隊必須在選定模型之前,客觀比較 Claude 3.5 Sonnet、Llama 3.1 70B 和 Mistral Large 2 在摘要品質上的表現。正確的 Amazon Bedrock 選擇:Amazon Bedrock 模型評估,搭配自動化 ROUGE/BERTScore 以及可選的人工審閱。

情境十一:一位資料科學家想用筆記本、特徵工程和超參數調校來建構並訓練自訂 XGBoost 詐欺偵測模型。正確選擇:Amazon SageMaker(不是 Amazon Bedrock——此需求超出 Amazon Bedrock 的範疇)。

情境十二:一位非技術業務分析師想用自然語言查詢公司銷售文件,並獲得含引用來源的回答,全程無需撰寫任何程式碼。正確選擇:Amazon Q Business(建構在 Amazon Bedrock 之上,但屬面向終端用戶的產品)。

FAQ — Amazon Bedrock 模型選擇熱門問題

1. 生成式 AI 專案應如何在 Amazon Bedrock 和 Amazon SageMaker 之間做選擇?

當你想透過 API 呼叫基礎模型、跳過基礎架構管理,並透過提示詞、RAG(Amazon Bedrock Knowledge Bases)或受管微調進行客製化時,選 Amazon Bedrock。當你需要從頭建構模型、具備特殊模型架構,或需要完全掌控訓練程式碼和服務執行個體時,選 Amazon SageMaker。2026 年的實務模式:大多數公司將 Amazon Bedrock 用於 80% 的生成式 AI 工作負載,而將 Amazon SageMaker 保留給真正需要自訂建模的 20%。在 AIF-C01 中,任何含有「基礎模型」、「Claude」、「Titan」、「Nova」或「生成式 AI API」的情境指向 Amazon Bedrock;任何含有「筆記本」、「超參數調校」或「建構自訂模型」的情境指向 Amazon SageMaker。

2. 何時應使用 Amazon Bedrock 上的預置吞吐量而非隨選?

Amazon Bedrock 上的預置吞吐量在三種情況下合理。第一,當你在 Amazon Bedrock 上提供自訂微調或自訂匯入的模型時——預置吞吐量是唯一可用的服務模式。第二,當生產流量足夠大且穩定,以至於每小時 PT 費用低於等效的隨選 token 消費時。第三,當你需要為受 SLA 約束的工作負載提供保證容量和可預測延遲時。對於開發環境、概念驗證以及大多數生產聊天工作負載,維持 Amazon Bedrock 上的隨選——容量共享但通常足夠,且成本可降至零。

3. Amazon Bedrock Agents 和 Amazon Bedrock Knowledge Bases 有何不同?

Amazon Bedrock Knowledge Bases 是受管的 RAG 流水線——它連接資料來源、生成嵌入、儲存向量,並以單次 RetrieveAndGenerate 呼叫以接地情境回答查詢。Amazon Bedrock Agents 是工具呼叫協調器——它接受目標、規劃步驟、呼叫 API 或 Lambda,並持續迭代直到完成。Knowledge Bases 擷取並回答;Agents 推理並行動。兩者可以組合:你可以將 Amazon Bedrock Knowledge Base 附加至 Amazon Bedrock Agent,讓代理在呼叫 API 執行動作的同時,以你的文件為推理接地。

4. 我可以在 Amazon Bedrock 上使用自己微調的 Llama 模型嗎?

可以,透過 Amazon Bedrock 自訂模型匯入。你將 Llama 權重上傳至 Amazon S3,向 Amazon Bedrock 註冊,然後透過與第一方目錄模型相同的 Amazon Bedrock API 調用匯入的模型。有兩個限制:架構必須受支援(截至撰寫本文時為 Llama、Mistral、Mixtral、Flan 系列),且推論需要預置吞吐量——任意匯入的權重沒有隨選容量。若這些限制不符需求,替代方案是將微調後的 Llama 部署至 Amazon SageMaker 端點,並讓 Amazon Bedrock 繼續服務第一方模型。

5. Amazon Bedrock 的供應商會用我的提示詞和補全結果訓練他們的模型嗎?

不會。Amazon Bedrock 目錄中的所有供應商均透過合約保證,客戶的輸入(提示詞)和輸出(補全結果)不會用於訓練基礎模型。這是 Amazon Bedrock 的基本保證,也是常見的 AIF-C01 情境陷阱——若干擾選項提到「從 Amazon Bedrock 切換是因為我們的提示詞會訓練廠商的模型」,那個選項是錯的。你的資料在 Amazon Bedrock 上永遠屬於你。

6. Amazon Bedrock 上的跨區推論是什麼?何時應啟用它?

Amazon Bedrock 上的跨區推論是一個選擇加入的路由功能,讓 Amazon Bedrock 執行環境在本區滿載時,從同一地理邊界群組(US、EU、APAC)的另一個 AWS 區域提供服務。你使用跨區推論設定檔 ID 作為 modelId,Amazon Bedrock 透明地處理路由。當你在尖峰時段遭遇節流且不想承諾預置吞吐量時,啟用它。不要期待它提供災難復原能力——如果整個地理群組都中斷,跨區推論也無法救你。也不要期待它為全球分散的用戶改善延遲;路由保持在邊界群組內,而非跨越大洲。

7. Amazon Bedrock 的定價實際上是如何運作的?

Amazon Bedrock 隨選定價按每 1,000 個輸入 token 和每 1,000 個輸出 token 計費,費率因模型而異——Claude 3.5 Sonnet 大約是 Claude 3.5 Haiku 的 10 倍,而 Claude 3.5 Haiku 大約是 Amazon Nova Micro 的 3 倍。每個 Amazon Bedrock 模型上的輸出 token 成本都高於輸入 token。Amazon Bedrock 上的批次推論費用大約是隨選每 token 定價的 50%,但延遲更高(以小時計)。Amazon Bedrock 上的預置吞吐量按每個模型單元每小時計費——承諾期限(無承諾、1 個月、6 個月)決定折扣等級。Amazon Bedrock Knowledge Bases 會增加底層向量資料庫費用(例如 Amazon OpenSearch Serverless OCU 小時費)。Amazon Bedrock Guardrails 按每 1,000 個評估文字單元計費。Amazon Bedrock 上的微調按每個訓練 token 計費,產生的自訂模型在推論時需要預置吞吐量。

8. Amazon Bedrock Guardrails 是什麼?為何它不同於 IAM?

Amazon Bedrock Guardrails 是套用於 Amazon Bedrock 提示詞和補全結果的內容安全過濾器。它們封鎖或遮蔽有害內容(仇恨、暴力、性、不當行為)、禁止的主題、特定詞彙、PII,以及無接地的回應。AWS IAM 是存取控制——它決定主體是否能呼叫 bedrock:InvokeModel。Guardrails 關注的是推論時通過模型的內容;IAM 關注的是誰能首先呼叫該模型。兩者在成熟的 Amazon Bedrock 部署中都不可或缺,且各自解決不同的問題。在 AIF-C01 中,這個區別是前五大陷阱之一——永遠不要用一個替代另一個。

Amazon Bedrock 模型選擇延伸閱讀

Amazon Bedrock 模型選擇總結

Amazon Bedrock 是 AWS 透過單一無伺服器 API 呼叫 Anthropic(Claude)、Amazon(Titan、Nova)、Meta(Llama)、Mistral、AI21(Jurassic、Jamba)、Cohere 和 Stability AI 基礎模型的服務。Amazon Bedrock 模型選擇由六個評估軸驅動——能力、成本、延遲、情境視窗、多模態和授權——而正確選擇通常是能滿足能力要求的最小、最便宜的模型。Amazon Bedrock 提供三種定價模式:隨選(預設、按 token 付費)、批次(半價、高延遲),以及預置吞吐量(預留容量,Amazon Bedrock 上的自訂和匯入模型強制使用)。Amazon Bedrock 可與跨區推論(容量平滑)、Amazon Bedrock Agents(工具呼叫)、Amazon Bedrock Knowledge Bases(受管 RAG)、Amazon Bedrock Guardrails(內容安全)、Amazon Bedrock 模型評估(基準測試)及 Amazon Bedrock 自訂模型匯入(自攜權重)組合使用。在 AIF-C01 中,Amazon Bedrock 是以選擇與設計問題的形式被測驗——選擇正確的 Amazon Bedrock 模型、選擇正確的 Amazon Bedrock 吞吐量模式、搭配正確的 Amazon Bedrock 功能——而這個框架涵蓋了 Domain 3 中的大多數情境。請將 Amazon Bedrock 與 Amazon SageMaker(建構自己的模型)、Amazon Q(面向終端用戶的助理)及 AWS IAM(存取控制,而非內容安全)區分開來,其餘的 Amazon Bedrock 陷阱便會迎刃而解。

官方資料來源

更多 AIF-C01 主題