Tác giả: Kristof Muhi, Varun Jasti, và Shashiraj Jeripotula
Ngày phát hành: 27 MAR 2025
Chuyên mục: Amazon Bedrock, APN Launches, Featured, Generative AI, Partner solutions, Thought Leadership

Bởi Kristof Muhi, Giám đốc Sản phẩm Chính – Dynatrace
Bởi Varun Jasti, Kiến trúc sư Giải pháp – AWS
Bởi Shashiraj Jeripotula, Kiến trúc sư Giải pháp Đối tác Chính – AWS

Giới thiệu

Các tổ chức tận dụng Amazon Bedrock cho các ứng dụng generative AI của họ cần đảm bảo các hoạt động AI đáng tin cậy, bảo mật và có trách nhiệm ở quy mô lớn. Khi các ứng dụng này trở thành một phần không thể thiếu trong các quy trình kinh doanh, việc triển khai khả năng observability toàn diện cho Mô hình Ngôn ngữ Lớn (LLM) là điều cần thiết. Giám sát hiệu suất mô hình, phát hiện ảo giác (hallucinations), prompt injections, ngôn ngữ độc hại, và rò rỉ PII, đồng thời theo dõi độ trễ (latency), độ trôi (drift), nguồn gốc dữ liệu (data lineage), và duy trì kiểm soát chi phí là một số trường hợp sử dụng quan trọng. Bằng cách triển khai các thực tiễn observability mạnh mẽ, các nhóm có thể thu thập thông tin chi tiết sâu sắc về hành vi của ứng dụng LLM, tối ưu hóa việc sử dụng tài nguyên, đảm bảo chất lượng phản hồi nhất quán và duy trì tuân thủ các yêu cầu quản trị (governance).

Dynatrace là một nền tảng observability tất cả trong một, tự động thu thập thông tin chi tiết về sản xuất, traces, logs, metrics, và dữ liệu ứng dụng theo thời gian thực ở quy mô lớn. Với công cụ AI mạnh mẽ (Davis AI), Dynatrace cảnh báo đội ngũ về các vấn đề cấp độ sản xuất trước khi chúng làm gián đoạn người dùng, giúp dự đoán việc sử dụng tài nguyên và chi phí, các vấn đề về hiệu suất, và cung cấp các guardrails (rào chắn) bảo vệ dữ liệu và duy trì tuân thủ.

Trong bài viết này, chúng tôi giải thích cách Dynatrace cung cấp khả năng giám sát và hiển thị từ đầu đến cuối (end-to-end) cho các ứng dụng generative AI sử dụng các mô hình Amazon Bedrock, cho phép observability LLM toàn diện.

Các trường hợp sử dụng observability của LLM

Dynatrace hỗ trợ các trường hợp sử dụng observability LLM và generative AI sau đây ở quy mô lớn.

Sự phức tạp của Multi-Model Tracing

Multi-model tracing (truy vết đa mô hình) đặt ra những phức tạp tiềm ẩn vì các tương tác giữa các mô hình có kiến trúc, định dạng đầu ra và hồ sơ độ trễ khác nhau phải được tương quan một cách mạch lạc trên toàn bộ chuỗi. Khi các mô hình đa dạng hoạt động theo trình tự, lỗi có thể âm thầm lan truyền qua các hệ thống không đồng nhất này, khiến việc phân tích nguyên nhân gốc rễ trở nên đặc biệt khó khăn nếu không có telemetry được tiêu chuẩn hóa để kết nối hiệu quả các điểm giữa các đầu vào và đầu ra khác nhau.

Dynatrace cho phép truy vết end-to-end trên nhiều mô hình khác nhau, kết nối các thành phần frontend và backend của stack ứng dụng.

Việc truy vết đa mô hình này cung cấp khả năng hiển thị và truy vết sự kiện hoàn chỉnh, cho phép bạn hiểu điều gì đã xảy ra khi một sự cố phát sinh hoặc khi một phản hồi không hợp lệ được gửi đến khách hàng trong toàn bộ chuỗi mô hình.

Vận hành dự đoán (Predictive Operations) cho tải công việc AI – chi phí và hiệu suất

Vận hành dự đoán tận dụng phân tích nâng cao và machine learning để dự đoán và tối ưu hóa hành vi của tải công việc AI trước khi các vấn đề ảnh hưởng đến hoạt động kinh doanh được hỗ trợ bởi Davis AI. Cách tiếp cận chủ động này biến việc giám sát truyền thống thành thông tin tình báo vận hành hướng tới tương lai cho các hệ thống AI.

• Dự báo và tối ưu hóa chi phí: Dự báo việc sử dụng token, các lệnh gọi API và chi phí liên quan trong Amazon Bedrock để lập kế hoạch ngân sách và phân bổ tài nguyên tốt hơn cho tương lai. Lập kế hoạch ngân sách hiệu quả với dự báo chi phí chính xác, giúp giảm chi phí vận hành thông qua việc lập kế hoạch và phân bổ tài nguyên tốt hơn.
• Dự đoán suy giảm hiệu suất: Xác định các dấu hiệu cảnh báo sớm về các vấn đề hiệu suất mô hình tiềm ẩn thông qua nhận dạng mẫu.
• Phát hiện bất thường và sự cố: Sử dụng Davis AI dự đoán của Dynatrace để phát hiện các mẫu bất thường trong hành vi mô hình có thể chỉ ra các vấn đề mới nổi, mức sử dụng cao điểm trong kiến trúc. Điều này sẽ giảm thiểu thời gian ngừng hoạt động của dịch vụ và ứng dụng bằng cách giải quyết các vấn đề tiềm ẩn trước khi chúng trở nên nghiêm trọng.

Phân tích Guardrail

Phân tích Guardrail tập trung vào việc giám sát và thực thi các ranh giới an toàn xung quanh các hệ thống AI để đảm bảo chúng hoạt động trong các thông số đạo đức, security và hiệu suất đã xác định. Khả năng quan trọng này giúp các tổ chức duy trì quyền kiểm soát đối với các ứng dụng AI của họ đồng thời bảo vệ chống lại các rủi ro và việc sử dụng sai mục đích tiềm ẩn.

• Các thành phần chính như phát hiện theo thời gian thực các nỗ lực prompt injection và các lỗ hổng security để bảo vệ dữ liệu kinh doanh và khách hàng của bạn. Điều này cho phép các tổ chức theo dõi việc lộ PII trái phép và rò rỉ dữ liệu nhạy cảm.
• Guardrails cho phép bạn giám sát ngôn ngữ độc hại và không phù hợp, nội dung có hại và các phản hồi thiên vị với khả năng phát hiện mối đe dọa sớm. Cho phép cải thiện độ tin cậy của mô hình thông qua việc thực thi ranh giới nhất quán và tuân thủ dễ dàng.
• Phân tích Guardrail bảo vệ các ứng dụng AI bằng cách bảo vệ danh tiếng thương hiệu thông qua việc ngăn chặn các phản hồi và truy vấn không phù hợp.

Quản trị dữ liệu, tuân thủ và kiểm toán

Trong bối cảnh các ứng dụng được xây dựng bằng LLM trên Amazon Bedrock, các khả năng quản trị (governance), tuân thủ (compliance) và kiểm toán (audit) thông qua observability đảm bảo các tổ chức duy trì quyền kiểm soát, tính minh bạch và trách nhiệm giải trình đối với các ứng dụng generative AI của họ, đồng thời đáp ứng các yêu cầu quy định và tiêu chuẩn ngành.

Dynatrace giúp theo dõi mọi đầu vào và đầu ra để có một audit trail (dấu vết kiểm toán) đầy đủ. Nó cho phép bạn truy vấn tất cả dữ liệu theo thời gian thực và lưu trữ để tham khảo trong tương lai. Việc thiết lập và duy trì data lineage (nguồn gốc dữ liệu) đầy đủ từ prompt đến response trên toàn bộ pipeline rất dễ dàng, đồng thời thu thập tất cả bằng chứng cho các thực tiễn AI có trách nhiệm và báo cáo quy định như FIPS, FedRAMP, và EU AI Act.

Khả năng model fingerprinting (định danh mô hình) của Dynatrace tạo ra các định danh duy nhất cho các phiên bản LLM dựa trên kiến trúc, dữ liệu đào tạo và các tham số, cho phép theo dõi phiên bản chính xác để tuân thủ quy định và kiểm toán. Việc theo dõi chính xác các phiên bản mô hình thông qua model fingerprinting này giúp đáp ứng các yêu cầu quy định và kiểm toán.

Dynatrace + Các lớp observability của LLM

Việc quan sát LLM đòi hỏi một cách tiếp cận mở rộng bao gồm nhiều lớp, từ ứng dụng hướng tới người dùng đến cơ sở hạ tầng bên dưới. Mỗi lớp đóng một vai trò quan trọng trong việc hiểu hiệu suất LLM, xác định các điểm nghẽn, đảm bảo hoạt động đáng tin cậy và phát hiện các rủi ro security tiềm ẩn. Dynatrace cung cấp một nền tảng observability end-to-end hợp nhất có thể giúp các tổ chức thu thập thông tin chi tiết sâu sắc về từng lớp này, cho phép họ giám sát, tối ưu hóa, khắc phục sự cố và bảo mật các ứng dụng được hỗ trợ bởi LLM một cách hiệu quả.

Hình 1: Pipeline observability của Bedrock cho ứng dụng du lịch chạy trên Kubernetes sử dụng Dynatrace

Trong ví dụ của chúng tôi, ứng dụng chạy trong một cluster Kubernetes. OpenLLMetry của Traceloop tăng cường khả năng observability LLM cho các mô hình Amazon Bedrock bằng cách thu thập các KPI quan trọng dành riêng cho AI. Nó làm phong phú dữ liệu OpenTelemetry và tích hợp liền mạch với Dynatrace. Điều này cung cấp một cái nhìn toàn diện về hiệu suất ứng dụng LLM trong môi trường sản xuất. Cuối cùng, nó trao quyền cho các doanh nghiệp tối ưu hóa và mở rộng quy mô triển khai AI của họ một cách hiệu quả.

Hình 2: Tổng quan cấp cao về các lớp khác nhau để instrument các ứng dụng generative AI cho observability

Từ sơ đồ trên (Hình 2), Dynatrace cung cấp khả năng hiển thị end-to-end cho các ứng dụng AI thông qua toàn bộ technology stack.

• Lớp Ứng dụng (Application Layer): Dynatrace giám sát các ứng dụng hướng tới người dùng tương tác với LLM, theo dõi các metrics hiệu suất, trải nghiệm người dùng và các mẫu sử dụng. Việc thu thập dữ liệu liên tục cho toàn bộ kiến trúc (frontend, backend, generative AI stack) tiết lộ hành vi ứng dụng theo thời gian thực, trong khi logging thu thập các tương tác của người dùng và các lỗi cụ thể của ứng dụng để gỡ lỗi. Các công cụ trực quan hóa cung cấp các dashboard có thể tùy chỉnh để theo dõi các metrics ứng dụng chính và xác định các xu hướng hoặc bất thường liên quan đến việc tích hợp LLM.
• Lớp Điều phối (Orchestration Layer) – Giám sát hiệu suất của các framework điều phối: Các framework này (ví dụ: LangChain, LlamaIndex) quản lý các workflow prompt và tích hợp pipeline. Dynatrace quan sát các workflow này, cung cấp các metrics về hiệu quả của prompt engineering, hiệu suất chuỗi và caching. Khả năng phát hiện bất thường của nó cảnh báo các nhóm về các vấn đề tiềm ẩn, các điểm nghẽn, đảm bảo hoạt động trơn tru của các quy trình do AI điều khiển.
• Lớp Ngữ nghĩa (Semantic Layer) và các vector database: Phân tích ý nghĩa và nội dung của đầu vào và đầu ra LLM. Điều này bao gồm việc hiểu mối quan hệ giữa các khái niệm, theo dõi cảm xúc (sentiment), và xác định các thiên vị, sự không chính xác hoặc bất thường tiềm ẩn cùng với các điểm nghẽn hiệu suất trong kiến trúc Retrieval Augmented Generation (RAG) sử dụng các vector database (ví dụ: Pinecone, Milvus, Weaviate, Qdrant, Chroma). Khả năng mở rộng của Dynatrace cho phép tích hợp với các công cụ phân tích ngữ nghĩa. Bằng cách nhập dữ liệu từ các vector database, Dynatrace có thể cung cấp một cái nhìn hợp nhất về đầu ra LLM, bao gồm phân tích cảm xúc, mô hình hóa chủ đề và phát hiện thiên vị. Dữ liệu này sau đó có thể được trực quan hóa và phân tích bằng cách sử dụng các khả năng Phân tích Metrics & Hiệu suất và Trực quan hóa của Dynatrace.
• Lớp Mô hình (Model Layer) – Quan sát các nhà cung cấp mô hình và nhà cung cấp nền tảng: Dynatrace giám sát việc sử dụng token, độ ổn định, độ trễ (latency), thông lượng (throughput), mức tiêu thụ tài nguyên và model drift (độ trôi mô hình) trong Amazon Bedrock. Phân tích Metrics & Hiệu suất cho phép đi sâu vào hiệu suất mô hình, theo dõi các metrics như độ trễ, thông lượng và mức tiêu thụ tài nguyên. Model fingerprinting hỗ trợ theo dõi phiên bản chi tiết, trong khi phát hiện bất thường gắn cờ những thay đổi đáng kể về hiệu suất hoặc chất lượng đầu ra—giúp các nhóm hiểu và tối ưu hóa hành vi mô hình.
• Lớp Cơ sở hạ tầng (Infrastructure Layer): Khả năng full-stack observability của Dynatrace mở rộng đến các tài nguyên compute (ví dụ: Amazon EC2, NVIDIA GPU) và network. Nó tự động thu thập mức sử dụng CPU/GPU, mức sử dụng bộ nhớ và các số liệu thống kê quan trọng khác. Phát hiện bất thường theo thời gian thực với Davis AI giúp các nhóm nhanh chóng giải quyết các điểm nghẽn phần cứng có thể ảnh hưởng đến hiệu suất LLM.

“Từ đánh giá mô hình ban đầu cho đến triển khai sản xuất, việc giám sát toàn diện là rất quan trọng đối với các hệ thống Generative AI. Sự tích hợp giữa Dynatrace và Amazon Bedrock cho phép các tổ chức dễ dàng theo dõi các chỉ số hiệu suất chính và truy vết dữ liệu, đảm bảo các ứng dụng AI của họ luôn được tối ưu hóa và hoạt động đáng tin cậy.” – Denis Batalov, Tech Leader, ML & AI, AWS.

“Generative AI đang nhanh chóng trở thành tiêu chuẩn cho trải nghiệm khách hàng, thúc đẩy các công ty cung cấp các tương tác AI-native với tốc độ cao. Đồng thời, chúng ta đang chứng kiến sự phát triển nhanh chóng của các hệ thống AI, dẫn đến khả năng tăng theo cấp số nhân. Tuy nhiên, việc triển khai các stack ứng dụng AI phức tạp cao này trong môi trường sản xuất đặt ra những thách thức đáng kể. AI observability đóng một vai trò quan trọng trong việc đảm bảo hiệu suất đáng tin cậy, nâng cao sự hài lòng của khách hàng và thúc đẩy ROI có thể đo lường được cho doanh nghiệp.” – Alois Reitbauer, VP Chief Technology Strategist, Dynatrace.

Tóm tắt

Trong bài đăng blog này, chúng tôi đã thảo luận về cách Dynatrace có thể cung cấp khả năng hiển thị nâng cao cho các ứng dụng generative AI tận dụng Amazon Bedrock.

Tận dụng các khả năng của Dynatrace, bạn có thể:

• Duy trì Hiệu quả Vận hành: Giám sát độ trễ, việc sử dụng tài nguyên và chi phí để tối ưu hóa hiệu suất và kiểm soát chi phí.
• Tăng tốc Đường đến Sản xuất: Triển khai các ứng dụng AI đáng tin cậy và secure nhanh hơn với sự tự tin.
• Đưa ra Quyết định Dựa trên Dữ liệu: Tận dụng dữ liệu toàn diện để định hình việc lựa chọn mô hình, fine-tuning và các chiến lược giảm thiểu rủi ro.
• Cải thiện Độ tin cậy của Ứng dụng: Chủ động xác định và giải quyết các điểm nghẽn hiệu suất và các vấn đề khác trước khi chúng ảnh hưởng đến người dùng.
• Nâng cao Tư thế Security: Phát hiện và giảm thiểu rủi ro security theo thời gian thực, bảo vệ dữ liệu và danh tiếng của bạn.
• Tăng cường Quản trị và Tuân thủ: Duy trì data lineage rõ ràng và đảm bảo các thực tiễn AI có trách nhiệm, đáp ứng các yêu cầu quy định và tiêu chuẩn đạo đức.

Để biết hướng dẫn về cách thiết lập giải pháp instrumentation end-to-end của Dynatrace với Amazon Bedrock, vui lòng tham khảo blog sau của Dynatrace.

---

Dynatrace – Điểm nhấn Đối tác AWS

Dynatrace là Đối tác Công nghệ Nâng cao (Advanced Technology Partner) và Đối tác Năng lực (AWS Competency Partner) của AWS cung cấp thông tin tình báo phần mềm để đơn giản hóa sự phức tạp của cloud và tăng tốc chuyển đổi kỹ thuật số. Với khả năng observability nâng cao, AI và tự động hóa hoàn chỉnh, nền tảng tất cả trong một của chúng tôi cung cấp câu trả lời, chứ không chỉ là dữ liệu, về hiệu suất của các ứng dụng, cơ sở hạ tầng bên dưới và trải nghiệm của tất cả người dùng.

Contact Dynatrace|Partner Overview|AWS Marketplace

TAGS: Amazon Bedrock, Artificial Intelligence, Machine Learning, Observability