AWS Study Group

Xây dựng một FinOps Agent sử dụng Amazon Bedrock với khả năng multi-Agent và Amazon Nova làm mô hình nền tảng | Blog về máy học của AWS

Tác giả: Salman Ahmed, Ankush Goyal, Sergio Barraza và Ravi Kumar, ngày 18 tháng 4 năm 2025 Advanced (300), Amazon Bedrock, Amazon Cognito, Amazon Machine Learning, Amazon Nova, Artificial Intelligence, AWS Amplify, AWS Cost Explorer, AWS Lambda, AWS Trusted Advisor Permalink  Comments  Share

Các AI Agent đang cách mạng hóa cách các doanh nghiệp nâng cao năng lực vận hành và các ứng dụng doanh nghiệp của họ. Bằng cách cho phép tương tác ngôn ngữ tự nhiên, các Agent này cung cấp cho khách hàng một trải nghiệm hợp lý và cá nhân hóa. Amazon Bedrock Agents sử dụng các khả năng của các mô hình nền tảng (FMs), kết hợp chúng với các API và dữ liệu để xử lý yêu cầu của người dùng, thu thập thông tin và thực hiện các tác vụ cụ thể một cách hiệu quả. Việc giới thiệu khả năng cộng tác nhiều Agent hiện nay cho phép các tổ chức điều phối nhiều AI Agent chuyên biệt làm việc cùng nhau để giải quyết các thách thức phức tạp, nhiều bước đòi hỏi chuyên môn đa dạng.

Amazon Bedrock cung cấp nhiều lựa chọn đa dạng về các mô hình nền tảng (FMs), cho phép bạn chọn mô hình phù hợp nhất với trường hợp sử dụng cụ thể của mình. Trong số các lựa chọn này, Amazon Nova nổi bật như là mô hình nền tảng thế hệ tiếp theo của AWS, mang lại trí tuệ đột phá và hiệu suất hàng đầu trong ngành với giá trị vượt trội.

Dòng sản phẩm Amazon Nova bao gồm ba loại mô hình:

  • Mô hình hiểu ngữ cảnh (Understanding models) – Có các biến thể Micro, Lite và Pro
  • Mô hình tạo nội dung (Content generation models) – Bao gồm Canvas và Reel
  • Mô hình chuyển đổi giọng nói thành giọng nói (Speech-to-Speech model) – Nova Sonic.

Các mô hình này được tối ưu hóa đặc biệt cho các ứng dụng doanh nghiệp và thương mại, nổi bật với các khả năng sau:

  • Tạo văn bản
  • Tóm tắt nội dung
  • Xử lý các tác vụ suy luận phức tạp
  • Sáng tạo nội dung

Điều này khiến Amazon Nova trở nên lý tưởng cho các trường hợp sử dụng phức tạp như giải pháp FinOps của chúng tôi.

Một lợi thế quan trọng của dòng mô hình Amazon Nova là tỷ lệ hiệu năng trên chi phí hàng đầu trong ngành. So với các mô hình AI cấp doanh nghiệp khác, Amazon Nova cung cấp các khả năng tương đương hoặc vượt trội với mức giá cạnh tranh hơn. Tính hiệu quả về chi phí này, kết hợp với tính linh hoạt và hiệu suất, khiến Amazon Nova trở thành lựa chọn hấp dẫn cho các doanh nghiệp đang tìm kiếm giải pháp AI tiên tiến.

Trong bài viết này, chúng tôi sử dụng tính năng đa tác tử (multi-agent) của Amazon Bedrock để trình bày một cách tiếp cận mạnh mẽ và sáng tạo đối với quản lý chi phí AWS. Bằng cách tận dụng các khả năng nâng cao của các mô hình nền Amazon Nova, chúng tôi đã phát triển một giải pháp minh họa cách các tác tử điều khiển bằng AI có thể cách mạng hóa cách các tổ chức phân tích, tối ưu hóa và quản lý chi phí AWS của họ.

Tổng quan giải pháp

Giải pháp quản lý chi phí AWS sáng tạo của chúng tôi sử dụng sức mạnh của AI và sự phối hợp đa tác tử để cung cấp phân tích chi phí toàn diện và các khuyến nghị tối ưu hóa. Cốt lõi của hệ thống được xây dựng dựa trên ba thành phần chính:

  • Tác tử giám sát FinOps – Hoạt động như người điều phối trung tâm, quản lý các truy vấn của người dùng và điều phối hoạt động của các tác tử phụ chuyên biệt.
  • Tác tử phân tích chi phí – Sử dụng AWS Cost Explorer để thu thập và phân tích dữ liệu chi phí trong các khoảng thời gian xác định.
  • Tác tử tối ưu hóa chi phí – Sử dụng AWS Trusted Advisor (trụ cột Tối ưu hóa Chi phí) để cung cấp các khuyến nghị tiết kiệm chi phí có thể hành động được.

Giải pháp tích hợp khả năng cộng tác đa tác tử của Amazon Bedrock với Amazon Nova để tạo ra một trợ lý AI quản lý chi phí thông minh và tương tác. Sự tích hợp này cho phép các tác tử chuyên biệt giao tiếp liền mạch với nhau, mỗi tác tử tập trung vào các khía cạnh khác nhau của quản lý chi phí AWS. Các tính năng chính của giải pháp bao gồm:

  • Xác thực người dùng thông qua Amazon Cognito với kiểm soát truy cập dựa trên vai trò
  • Ứng dụng giao diện người dùng được lưu trữ trên AWS Amplify
  • Cung cấp thông tin chi phí theo thời gian thực và phân tích lịch sử
  • Các khuyến nghị tối ưu hóa chi phí có thể hành động được
  • Xử lý song song các tác vụ để nâng cao hiệu quả

Bằng cách kết hợp phân tích dựa trên AI với các công cụ quản lý chi phí AWS, giải pháp này cung cấp cho các nhóm tài chính và quản trị viên đám mây một giao diện mạnh mẽ, thân thiện với người dùng để có được cái nhìn sâu sắc về mô hình chi tiêu AWS và xác định các cơ hội tiết kiệm chi phí.

Kiến trúc được hiển thị trong sơ đồ sau sử dụng nhiều dịch vụ AWS, bao gồm các hàm AWS Lambda, để tạo ra một hệ thống có thể mở rộng, bảo mật và hiệu quả. Cách tiếp cận này cho thấy tiềm năng của các hệ thống đa tác tử được điều khiển bởi AI trong việc hỗ trợ quản lý tài chính trên nền tảng đám mây và giải quyết nhiều thách thức trong quản lý đám mây.

Trong các phần sau, chúng ta sẽ đi sâu hơn vào kiến trúc của giải pháp, khám phá khả năng của từng tác tử, và thảo luận về tác động tiềm năng của phương pháp này đối với các chiến lược quản lý chi phí AWS.

Các điều kiện tiên quyết


 Bạn cần có những điều sau để hoàn thành giải pháp trong bài viết này:

Triển khai tài nguyên giải pháp bằng AWS CloudFormation

Mẫu CloudFormation này được thiết kế để chạy tại khu vực us-east-1. Nếu bạn triển khai ở một khu vực khác, bạn cần cấu hình hồ sơ suy luận đa khu vực (cross-Region inference profiles) để hệ thống hoạt động đúng cách và cập nhật mẫu CloudFormation tương ứng.

Trong quá trình triển khai mẫu CloudFormation, bạn sẽ cần chỉ định ba tham số bắt buộc:

  1. Tên stack
  2. Lựa chọn mô hình nền tảng (FM selection)
  3. Địa chỉ email người dùng hợp lệ

Việc sử dụng tài nguyên AWS sẽ phát sinh chi phí.Khi triển khai hoàn tất, các tài nguyên sau sẽ được tạo:

Tài nguyên Amazon Cognito:

Tài nguyên AWS Identity and Access Management (IAM):

IAM roles:

  • FinanceUserRestrictedRole
  • DefaultCognitoAuthenticatedRole

IAM policies:

  • Finance-BedrockAccess
  • Default-CognitoAccess

Các hàm Lambda:

  • TrustedAdvisorListRecommendationResources
  • TrustedAdvisorListRecommendations
  • CostAnalysis
  • ClockandCalendar
  • CostForecast

Tác tử Amazon Bedrock:

  • FinOpsSupervisorAgent

Tác tử phân tích chi phí (CostAnalysisAgent) với các nhóm hành động:

  • CostAnalysisActionGroup
  • ClockandCalendarActionGroup
  • CostForecastActionGroup

Tác tử tối ưu chi phí (CostOptimizationAgent) với các nhóm hành động:

  • TrustedAdvisorListRecommendationResources
  • TrustedAdvisorListRecommendations

Sau khi triển khai template, hãy sao chép các giá trị sau từ tab Outputs trong bảng điều khiển AWS CloudFormation để cấu hình ứng dụng khi đã triển khai trên AWS Amplify:

  • AWSRegion
  • BedrockAgentAliasId
  • BedrockAgentId
  • BedrockAgentName
  • IdentityPoolId
  • UserPoolClientId
  • UserPoolId

Ảnh chụp màn hình dưới đây sẽ cho bạn thấy tab Outputs sẽ trông như thế nào. (Bạn có thể xem ảnh trong tài liệu gốc hoặc link gốc mà bạn đang theo dõi).

Triển khai ứng dụng Amplify


Bạn cần triển khai thủ công ứng dụng Amplify bằng cách sử dụng mã nguồn frontend được tìm thấy trên GitHub. Hoàn thành các bước sau:

  1. Tải xuống mã nguồn frontend AWS-Amplify-Frontend.zip từ GitHub.
  2. Sử dụng tệp .zip để triển khai thủ công ứng dụng trong Amplify.
  3. Quay lại trang Amplify và sử dụng miền mà hệ thống đã tự động tạo ra để truy cập ứng dụng.

Amazon Cognito để xác thực người dùng

Ứng dụng FinOps sử dụng Amazon Cognito user pools và identity pools để triển khai kiểm soát truy cập dựa trên vai trò một cách an toàn cho các thành viên trong nhóm tài chính. User pools xử lý việc xác thực và quản lý nhóm, còn identity pools cung cấp các thông tin xác thực AWS tạm thời được ánh xạ tới các vai trò IAM cụ thể. Hệ thống đảm bảo rằng chỉ những thành viên nhóm tài chính đã được xác minh mới có thể truy cập ứng dụng và tương tác với API của Amazon Bedrock, kết hợp bảo mật mạnh mẽ với trải nghiệm người dùng liền mạch.

Amazon Bedrock Agents với khả năng đa tác vụ (multi-agent)

Kiến trúc đa tác vụ của Amazon Bedrock cho phép giải quyết các vấn đề FinOps phức tạp thông qua một hệ thống phối hợp giữa các AI Agent, được dẫn dắt bởi FinOpsSupervisorAgent. FinOpsSupervisorAgent phối hợp với hai Agent phụ quan trọng: CostAnalysisAgent, chịu trách nhiệm xử lý các truy vấn phân tích chi phí chi tiết, và CostOptimizationAgent, chịu trách nhiệm đưa ra các đề xuất tối ưu hóa chi phí cụ thể. Mỗi Agent tập trung vào các nhiệm vụ tài chính chuyên biệt của mình trong khi vẫn duy trì nhận thức theo ngữ cảnh, với FinOpsSupervisorAgent quản lý việc giao tiếp và tổng hợp các phản hồi toàn diện từ cả hai Agent. Cách tiếp cận phối hợp này cho phép xử lý song song các truy vấn tài chính và cung cấp câu trả lời hiệu quả hơn so với việc chỉ dùng một Agent, đồng thời đảm bảo tính nhất quán và chính xác trong suốt quá trình tương tác FinOps.

Các hàm Lambda cho các nhóm hành động Amazon Bedrock


Là một phần của giải pháp này, các hàm Lambda được triển khai để hỗ trợ các nhóm hành động được định nghĩa cho mỗi Agent phụ.

CostAnalysisAgent sử dụng ba nhóm hành động hỗ trợ bởi Lambda riêng biệt để cung cấp khả năng quản lý chi phí toàn diện. CostAnalysisActionGroup kết nối với Cost Explorer để trích xuất và phân tích dữ liệu chi phí lịch sử chi tiết, cung cấp những hiểu biết chi tiết về mô hình chi tiêu đám mây và mức độ sử dụng tài nguyên. ClockandCalendarActionGroup duy trì độ chính xác theo thời gian bằng cách cung cấp chức năng ngày giờ hiện tại, rất cần thiết cho việc phân tích và báo cáo chi phí theo khoảng thời gian một cách chính xác. CostForecastActionGroup sử dụng chức năng dự báo của Cost Explorer, phân tích dữ liệu chi phí lịch sử và cung cấp dự báo chi phí trong tương lai. Thông tin này giúp Agent hỗ trợ việc lập kế hoạch ngân sách chủ động và đưa ra các đề xuất có cơ sở. Các nhóm hành động này hoạt động liền mạch cùng nhau, cho phép Agent cung cấp phân tích chi phí lịch sử và dự đoán chi tiêu trong tương lai đồng thời duy trì ngữ cảnh thời gian chính xác.

CostOptimizationAgent tích hợp hai nhóm hành động tập trung vào Trusted Advisor để tăng cường khả năng đề xuất của mình. Nhóm hành động TrustedAdvisorListRecommendationResources giao tiếp với Trusted Advisor để truy xuất danh sách đầy đủ các tài nguyên có thể hưởng lợi từ việc tối ưu hóa, cung cấp phạm vi cụ thể cho các nỗ lực tiết kiệm chi phí. Bổ sung cho điều này, nhóm hành động TrustedAdvisorListRecommendations lấy các đề xuất cụ thể từ Trusted Advisor, cung cấp các hiểu biết có thể hành động về tiềm năng giảm chi phí, cải thiện hiệu suất và các thông lệ tốt nhất trên nhiều dịch vụ AWS. Cùng nhau, các nhóm hành động này trao quyền cho Agent cung cấp các chiến lược tối ưu hóa được cá nhân hóa và dựa trên dữ liệu bằng cách sử dụng chuyên môn tích hợp trong Trusted Advisor.

Amplify cho giao diện frontend


 Amplify cung cấp một giải pháp đơn giản để triển khai và lưu trữ các ứng dụng web với các tính năng bảo mật và khả năng mở rộng được tích hợp sẵn. Dịch vụ này giảm thiểu độ phức tạp trong việc quản lý hạ tầng, cho phép các nhà phát triển tập trung vào việc phát triển ứng dụng. Trong giải pháp của chúng tôi, chúng tôi sử dụng khả năng triển khai thủ công của Amplify để lưu trữ mã giao diện frontend của ứng dụng.

Multi-agent and application walkthrough

Để xác nhận giải pháp trước khi sử dụng frontend đã triển khai qua Amplify, chúng tôi có thể thực hiện kiểm thử trực tiếp trên AWS Management Console. Bằng cách điều hướng đến FinOpsSupervisorAgent, chúng tôi có thể đặt một câu hỏi như:
“Chi phí của tôi trong tháng 2 năm 2025 là bao nhiêu và có cơ hội tiết kiệm chi phí nào hiện tại không?” Truy vấn này minh họa hoạt động điều phối multi-agent. Như thể hiện trong ảnh chụp màn hình dưới đây, FinOpsSupervisorAgent phối hợp với cả CostAnalysisAgent (để truy xuất dữ liệu chi phí tháng 2/2025) và CostOptimizationAgent (để xác định các cơ hội tiết kiệm chi phí hiện tại).

Điều này cho thấy cách FinOpsSupervisorAgent phân công nhiệm vụ một cách hiệu quả đến các Agent chuyên biệt và tổng hợp phản hồi của họ thành một câu trả lời đầy đủ, thể hiện cách tiếp cận tích hợp của giải pháp đối với các truy vấn FinOps.

Đi tới URL được cung cấp sau khi bạn tạo ứng dụng trong Amplify. Khi truy cập vào URL của ứng dụng, bạn sẽ được yêu cầu cung cấp các thông tin liên quan đến Amazon Cognito và Amazon Bedrock Agents. Những thông tin này là cần thiết để xác thực người dùng một cách an toàn và cho phép giao diện frontend tương tác với agent của Amazon Bedrock. Nó cho phép ứng dụng quản lý phiên người dùng và thực hiện các lệnh gọi API được ủy quyền đến các dịch vụ AWS thay mặt cho người dùng.

Bạn có thể nhập thông tin bằng cách sử dụng các giá trị đã thu thập từ phần outputs của CloudFormation stack. Bạn sẽ cần nhập các trường sau, như được hiển thị trong ảnh chụp màn hình bên dưới:

  • User Pool ID
  • User Pool Client ID
  • Identity Pool ID
  • Region
  • Agent Name
  • Agent ID
  • Agent Alias ID
  • Region

Bạn cần đăng nhập bằng tên người dùng và mật khẩu của mình. Một mật khẩu tạm thời đã được tạo tự động trong quá trình triển khai và gửi đến địa chỉ email mà bạn đã cung cấp khi khởi chạy mẫu CloudFormation. Trong lần đăng nhập đầu tiên, bạn sẽ được yêu cầu đặt lại mật khẩu, như được minh họa trong video bên dưới.

Bây giờ bạn có thể bắt đầu đặt cùng câu hỏi trong ứng dụng, cho ví dụ, “Chi phí của tôi cho tháng 2 năm 2025 là bao nhiêu và cơ hội tiết kiệm chi phí hiện tại là gì?” Trong vài giây, ứng dụng sẽ cung cấp cho bạn kết quả chi tiết hiển thị chi tiêu theo dịch vụ cho tháng cụ thể đó và các cơ hội tiết kiệm chi phí. Video sau đây minh họa cuộc trò chuyện này.

Bạn có thể tiếp tục đi sâu vào các chi tiết mà bạn đã nhận được bằng cách đặt một câu hỏi tiếp theo, chẳng hạn như: “Bạn có thể cung cấp cho tôi chi tiết về các EC2 instance đang bị sử dụng không hiệu quả không?” Hệ thống sẽ phản hồi với thông tin chi tiết cho từng Amazon Elastic Compute Cloud (Amazon EC2) instance mà nó phát hiện là đang sử dụng không hiệu quả.

Dưới đây là một vài truy vấn mẫu bổ sung để minh họa khả năng của công cụ này:

  • What is my top services cost in June 2024?
  • In the past 6 months, how much did I spend on VPC cost?
  • What is my current savings opportunity?

Clean up

Nếu bạn quyết định ngừng sử dụng ứng dụng FinOps, bạn có thể thực hiện các bước sau để xóa nó cùng với các tài nguyên liên quan đã được triển khai bằng AWS CloudFormation và Amplify:

  1. Xóa CloudFormation stack:
  • Truy cập AWS CloudFormation Console, chọn Stacks trong thanh điều hướng bên trái.
  • Tìm stack bạn đã tạo trong quá trình triển khai (dựa trên tên bạn đã đặt cho stack).
  • Chọn stack và nhấn Delete.
  1. Xóa ứng dụng Amplify và các tài nguyên đi kèm. Để biết hướng dẫn, hãy tham khảo      Clean Up Resources.

Cân nhắc

Để có khả năng quan sát tối ưu trên toàn tổ chức, hãy triển khai giải pháp này trong tài khoản thanh toán (payer account) của bạn trên AWS để có thể truy cập chi tiết chi phí của các tài khoản liên kết thông qua Cost Explorer.

Khả năng quan sát tối ưu hóa chi phí của Trusted Advisor bị giới hạn trong tài khoản nơi bạn triển khai giải pháp này. Để mở rộng phạm vi, hãy kích hoạt Trusted Advisor ở cấp độ tổ chức AWS và điều chỉnh giải pháp này cho phù hợp.

Trước khi triển khai trong môi trường production, hãy nâng cao bảo mật bằng cách thực hiện các biện pháp bảo vệ bổ sung. Bạn có thể làm điều này bằng cách liên kết guardrails (rào chắn bảo mật) với agent của bạn trong Amazon Bedrock.

Kết luận

Việc tích hợp khả năng đa agent (multi-agent) của Amazon Bedrock với Amazon Nova đã chứng minh tiềm năng chuyển đổi mạnh mẽ của trí tuệ nhân tạo trong quản lý chi phí AWS. Giải pháp agent FinOps của chúng tôi thể hiện cách các agent AI chuyên biệt có thể phối hợp với nhau để cung cấp phân tích chi phí toàn diện, dự báo và khuyến nghị tối ưu hóa trong một môi trường an toàn và thân thiện với người dùng.

Việc triển khai này không chỉ giải quyết các thách thức quản lý chi phí tức thời, mà còn thích nghi với sự phát triển liên tục của các hoạt động tài chính trên nền tảng đám mây. Khi công nghệ AI tiếp tục tiến bộ, cách tiếp cận này sẽ đặt nền móng cho các chiến lược quản lý đám mây thông minh hơn và chủ động hơn trong nhiều hoạt động kinh doanh khác nhau.

Tài nguyên bổ sung

Để tìm hiểu thêm về Amazon Bedrock, hãy tham khảo các tài nguyên sau:

Về tác giả

Salman Ahmed là Quản lý Tài khoản Kỹ thuật Cấp cao (Senior Technical Account Manager) trong bộ phận Hỗ trợ Doanh nghiệp AWS (AWS Enterprise Support). Anh chuyên hướng dẫn khách hàng trong quá trình thiết kế, triển khai và hỗ trợ các giải pháp AWS. Với chuyên môn về mạng máy tính và niềm đam mê khám phá các công nghệ mới, anh giúp các tổ chức điều hướng hành trình lên đám mây một cách thành công. Ngoài công việc, anh yêu thích nhiếp ảnh, du lịch và theo dõi các đội thể thao yêu thích của mình.

Ravi Kumar là Quản lý Tài khoản Kỹ thuật Cấp cao (Senior Technical Account Manager) trong bộ phận Hỗ trợ Doanh nghiệp AWS (AWS Enterprise Support), người hỗ trợ các khách hàng trong ngành du lịch và khách sạn tối ưu hóa hoạt động điện toán đám mây trên AWS. Anh là một chuyên gia CNTT hướng đến kết quả với hơn 20 năm kinh nghiệm. Trong thời gian rảnh, Ravi yêu thích các hoạt động sáng tạo như vẽ tranh. Anh cũng thích chơi cricket và du lịch đến những nơi mới.

Sergio Barraza là Quản lý Tài khoản Kỹ thuật Cấp cao tại AWS, hỗ trợ khách hàng trong việc thiết kế và tối ưu hóa các giải pháp đám mây. Với hơn 25 năm kinh nghiệm trong phát triển phần mềm, anh hướng dẫn khách hàng trong quá trình áp dụng các dịch vụ AWS. Ngoài công việc, Sergio là một nhạc sĩ đa nhạc cụ, chơi guitar, piano và trống, đồng thời anh cũng luyện tập võ Wing Chun Kung Fu.

Ankush Goyal là Trưởng nhóm Hỗ trợ Doanh nghiệp trong bộ phận AWS Enterprise Support, người hỗ trợ khách hàng tối ưu hóa hoạt động đám mây trên AWS. Anh là một chuyên gia CNTT định hướng kết quả với hơn 20 năm kinh nghiệm.

←
→

Leave a comment