Tác giả: Guillermo Mansilla, Amit Gupta, Jed Lechner, và Leo Mentis Raj Selvaraj
Ngày: 09 tháng 4, 2025
Danh mục: Advanced (300), Amazon Q, Amazon Q Business, Artificial Intelligence, Generative AI, Technical How-to

Giới Thiệu

Năng suất nhân viên là một yếu tố quan trọng trong việc duy trì lợi thế cạnh tranh. Amazon Q Business mang đến cơ hội độc đáo để nâng cao hiệu quả lực lượng lao động bằng cách cung cấp hỗ trợ được hỗ trợ AI có thể giảm đáng kể thời gian tìm kiếm thông tin, tạo nội dung và hoàn thành các tác vụ thường xuyên. Amazon Q Business là một trợ lý được quản lý hoàn toàn, được hỗ trợ bởi trợ lý AI tạo sinh cho phép bạn xây dựng các ứng dụng chat tương tác sử dụng dữ liệu doanh nghiệp của bạn, tạo ra câu trả lời dựa trên dữ liệu của bạn hoặc kiến thức large language model (LLM). Cốt lõi của khả năng này là các native data source connectors tích hợp và lập chỉ mục nội dung từ nhiều nguồn dữ liệu như Salesforce, Jira và SharePoint vào một chỉ mục thống nhất.

Lợi ích chính cho các tổ chức bao gồm:

• Triển khai và quản lý đơn giản – Cung cấp trải nghiệm web sẵn sàng sử dụng mà không cần duy trì hoặc quản lý cơ sở hạ tầng machine learning (ML)
• Kiểm soát truy cập – Đảm bảo người dùng chỉ truy cập nội dung họ có quyền xem
• Phản hồi truy vấn chính xác – Cung cấp câu trả lời chính xác với trích dẫn nguồn, phân tích dữ liệu doanh nghiệp
• Quyền riêng tư và kiểm soát – Cung cấp guardrails toàn diện và kiểm soát truy cập chi tiết
• Kết nối rộng rãi – Hỗ trợ hơn 45 native data source connectors (tại thời điểm viết), và cung cấp khả năng tạo custom connectors

Quyền riêng tư dữ liệu và bảo vệ sở hữu trí tuệ là mối quan tâm hàng đầu của hầu hết các tổ chức. Tại Amazon, “Security is Job Zero,” đó là lý do tại sao Amazon Q Business được thiết kế với những cân nhắc quan trọng này. Dữ liệu của bạn không được sử dụng cho mục đích training, và các câu trả lời được cung cấp bởi Amazon Q Business chỉ dựa trên dữ liệu mà người dùng có quyền truy cập. Điều này đảm bảo rằng các doanh nghiệp có thể nhanh chóng tìm câu trả lời cho các câu hỏi, cung cấp tóm tắt, tạo nội dung và hoàn thành các tác vụ trên nhiều use cases khác nhau với sự tin tưởng hoàn toàn về bảo mật dữ liệu.

Để nâng cao hiệu quả hoạt động nhóm, Amazon Q Business Insights cung cấp cho quản trị viên thông tin chi tiết về mức độ sử dụng và hiệu suất của các ứng dụng AI. Bằng cách giám sát các chỉ số sử dụng, doanh nghiệp có thể định lượng rõ ràng mức tăng năng suất đạt được nhờ Amazon Q Business.

Việc nắm bắt cách nhân viên tương tác và sử dụng Amazon Q Business là rất quan trọng để đánh giá lợi tức đầu tư (ROI) và xác định các cơ hội tối ưu hóa. Các chỉ số như thời gian tiết kiệm và số lượng truy vấn được giải quyết có thể chứng minh cụ thể tác động của dịch vụ này đến năng suất tổng thể tại nơi làm việc. Do đó, các quản trị viên cần thường xuyên xem xét các chỉ số này để hiểu hành vi người dùng và xác định các lĩnh vực cần cải thiện.

Với Amazon Q Business Insights, các quản trị viên có thể theo dõi tương tác của người dùng và đánh giá mức độ hữu ích của các câu trả lời do AI tạo ra thông qua bảng điều khiển trực quan. Điều này giúp nhanh chóng xác định các trường hợp người dùng không nhận được phản hồi thỏa đáng. Bằng cách chẩn đoán các vấn đề tiềm ẩn như lời nhắc không rõ ràng, cấu hình sai chủ đề và guardrails, thiếu metadata boosters hoặc cấu hình nguồn dữ liệu không phù hợp, các tổ chức có thể liên tục tối ưu hóa việc triển khai Amazon Q Business. Mục tiêu là đảm bảo người dùng luôn nhận được sự hỗ trợ AI phù hợp và hiệu quả nhất.

Bài viết này đi sâu vào các khả năng của Amazon Q Business Insights và tầm quan trọng của nó đối với các tổ chức. Chúng tôi sẽ bắt đầu với tổng quan về các chỉ số có sẵn, hướng dẫn cách sử dụng chúng để đo lường mức độ tương tác của người dùng và hiệu quả hệ thống. Tiếp theo, chúng tôi sẽ hướng dẫn cách truy cập và điều hướng bảng điều khiển. Cuối cùng, chúng tôi sẽ trình bày cách tích hợp log của Amazon Q Business với Amazon CloudWatch. Sự tích hợp này cung cấp cái nhìn sâu sắc hơn về các mẫu tương tác của người dùng, giúp xác định các lĩnh vực cần cải thiện. Điều này trao quyền cho các quản trị viên đưa ra quyết định dựa trên dữ liệu để tối ưu hóa việc triển khai Amazon Q Business và tối đa hóa lợi tức đầu tư (ROI).

Amazon Q Business và Amazon Q Apps Analytics Dashboards

Ở phần này, chúng ta sẽ thảo luận về dashboard phân tích  Amazon Q Business và Amazon Q 

Tổng quan về các metrics chính

Amazon Q Business Insights (xem ảnh chụp màn hình dưới đây) cung cấp một bộ chỉ số toàn diện mang lại những hiểu biết có giá trị về sự tương tác của người dùng và hiệu suất hệ thống. Các chỉ số chính bao gồm Tổng số truy vấn và Tổng số cuộc hội thoại, cung cấp bức tranh tổng thể về việc sử dụng hệ thống. Các chỉ số cụ thể hơn như Số truy vấn trên mỗi cuộc hội thoại và Số truy vấn trên mỗi người dùng mang lại những hiểu biết sâu sắc hơn về các mẫu tương tác của người dùng và độ phức tạp của các câu hỏi. Các chỉ số Số lượng cuộc hội thoại và Số lượng truy vấn giúp các quản trị viên theo dõi xu hướng áp dụng và sử dụng theo thời gian.

Dashboard cũng cung cấp thông tin quan trọng về hiệu quả hệ thống thông qua các chỉ số như Phản hồi truy vấn không thành công và Lý do đánh giá tiêu cực (xem ảnh chụp màn hình dưới đây), làm nổi bật các lĩnh vực mà trợ lý AI có thể đang gặp khó khăn trong việc cung cấp câu trả lời phù hợp. Điều này được bổ sung bởi chỉ số phản hồi của người dùng cuối, bao gồm đánh giá của người dùng và lý do hiệu quả phản hồi. Những chỉ số này đặc biệt có giá trị trong việc xác định các vấn đề cụ thể mà người dùng đang gặp phải và các lĩnh vực mà hệ thống cần cải thiện.

Bổ sung cho bảng điều khiển chính, Amazon Q Business cung cấp bảng điều khiển phân tích chuyên dụng cho Amazon Q Apps cung cấp thông tin chi tiết về việc tạo ứng dụng, sử dụng và các mẫu áp dụng. Bảng điều khiển theo dõi mức độ tương tác của người dùng thông qua các số liệu như:

• Người dùng đang hoạt động (trung bình số người dùng duy nhất tương tác với Amazon Q Apps mỗi ngày)
• Người sáng tạo tích cực (số người dùng trung bình hàng ngày tạo hoặc cập nhật Ứng dụng Amazon Q)

Số liệu ứng dụng bao gồm:

• Tổng số ứng dụng Q (tổng số trung bình hàng ngày)
• Ứng dụng Q đang hoạt động (số lượng ứng dụng trung bình được chạy hoặc cập nhật hàng ngày)

Các số liệu này giúp cung cấp bức tranh rõ ràng về việc sử dụng ứng dụng.

Bảng thông tin cũng có một số phân tích xu hướng giúp người quản trị hiểu được mô hình sử dụng theo thời gian:

• Xu hướng người tham gia ứng dụng Q cho thấy mối quan hệ giữa người dùng hoạt động hàng ngày và người sáng tạo
• Xu hướng ứng dụng Q hiển thị mối tương quan giữa tổng số ứng dụng được tạo và các ứng dụng đang hoạt động
• Total Q App chạy theo xu hướng và Published Q App theo dõi tỷ lệ thực hiện hàng ngày và các mẫu xuất bản tương ứng

Các số liệu này cho phép người quản trị đánh giá hiệu suất và mức độ áp dụng Amazon Q Apps trong tổ chức của họ, giúp xác định các mô hình triển khai thành công và các lĩnh vực cần chú ý.

Các số liệu toàn diện này rất quan trọng đối với các tổ chức để tối ưu hóa việc triển khai Amazon Q Business và tối đa hóa ROI. Bằng cách phân tích xu hướng trong Tổng số truy vấn , Tổng số cuộc trò chuyện và số liệu cụ thể của người dùng, quản trị viên có thể đánh giá tỷ lệ áp dụng và xác định các lĩnh vực tiềm năng để đào tạo người dùng hoặc cải thiện hệ thống. Các số liệu Phản hồi truy vấn không thành công và Phản hồi của khách hàng giúp xác định chính xác các khoảng trống trong cơ sở kiến ​​thức hoặc các lĩnh vực mà hệ thống gặp khó khăn trong việc cung cấp câu trả lời thỏa đáng. Bằng cách sử dụng các số liệu này, các tổ chức có thể đưa ra quyết định dựa trên dữ liệu để nâng cao hiệu quả của trợ lý hỗ trợ AI, cuối cùng dẫn đến cải thiện năng suất và trải nghiệm của người dùng trong nhiều trường hợp sử dụng khác nhau trong doanh nghiệp.

Cách truy cập bảng thông tin Amazon Q Business Insights

Với tư cách là quản trị viên Amazon Q, bạn có thể xem bảng thông tin trên bảng điều khiển Amazon Q Business. Bạn có thể xem số liệu trong các bảng thông tin này theo các khoảng thời gian được chọn trước khác nhau. Chúng có sẵn mà không mất thêm phí tại các Khu vực AWS nơi dịch vụ Amazon Q Business được cung cấp.

Để xem các bảng thông tin này trên bảng điều khiển Amazon Q Business, bạn hãy chọn môi trường ứng dụng của mình và điều hướng đến trang Thông tin chi tiết . Để biết thêm chi tiết, hãy xem mục Xem bảng thông tin phân tích .

Ảnh chụp màn hình sau đây minh họa cách truy cập bảng thông tin cho các ứng dụng Amazon Q Business và Amazon Q Apps Insights.

Theo dõi các cuộc trò chuyện của người dùng Amazon Q Business

Ngoài bảng điều khiển Amazon Q Business và Amazon Q Apps, bạn có thể sử dụng Amazon CloudWatch Logs để cung cấp các cuộc trò chuyện của người dùng và phản hồi phản hồi trong Amazon Q Business để bạn phân tích. Các nhật ký này có thể được gửi đến nhiều đích, chẳng hạn như CloudWatch, Amazon Simple Storage Service (Amazon S3) hoặc Amazon Data Firehose .

Sơ đồ sau đây mô tả luồng phản hồi và cuộc trò chuyện của người dùng từ Amazon Q Business đến Amazon S3. Sau đó, các nhật ký này có thể truy vấn được bằng Amazon Athena .

Điều kiện tiên quyết

Để thiết lập CloudWatch Logs cho Amazon Q Business, hãy đảm bảo bạn có quyền phù hợp cho đích đến dự định. Tham khảo Giám sát Amazon Q Business và Q Apps để biết thêm chi tiết.

Thiết lập phân phối nhật ký với CloudWatch làm đích đến

Thực hiện các bước sau để thiết lập phân phối nhật ký với CloudWatch làm đích:

1. Mở bảng điều khiển Amazon Q Business và đăng nhập vào tài khoản của bạn.
2. Trong Ứng dụng , hãy chọn tên môi trường ứng dụng của bạn.
3. Trong ngăn điều hướng, chọn Cải tiến và chọn Kiểm soát và lan can quản trị .
4. Trong Giao nhật ký , chọn Thêm và chọn tùy chọn Vào Nhật ký Amazon CloudWatch .
5. Đối với Nhóm nhật ký đích , hãy nhập nhóm nhật ký nơi nhật ký sẽ được lưu trữ.

Các nhóm nhật ký có tiền tố /aws/vendedlogs/sẽ được tạo tự động. Các nhóm nhật ký khác phải được tạo trước khi thiết lập phân phối nhật ký.

6. Để lọc thông tin nhạy cảm hoặc thông tin nhận dạng cá nhân (PII), hãy chọn Cài đặt bổ sung – tùy chọn và chỉ định các trường sẽ được ghi lại, định dạng đầu ra và dấu phân cách trường.

Nếu bạn muốn email của người dùng được ghi lại trong nhật ký của mình, bạn phải thêm thông tin này một cách rõ ràng dưới dạng một trường trong phần Cài đặt bổ sung .

7. Chọn Thêm .
8. Chọn Bật ghi nhật ký để bắt đầu truyền dữ liệu hội thoại và phản hồi đến đích ghi nhật ký của bạn.

Thiết lập phân phối nhật ký với Amazon S3 làm đích đến

Để sử dụng Amazon S3 làm đích nhật ký, bạn sẽ cần một thùng S3 và cấp cho Amazon Q Business các quyền thích hợp để ghi nhật ký của bạn vào Amazon S3.

1. Mở bảng điều khiển Amazon Q Business và đăng nhập vào tài khoản của bạn.
2. Trong Ứng dụng , hãy chọn tên môi trường ứng dụng của bạn.
3. Trong ngăn điều hướng, chọn Cải tiến và chọn Kiểm soát và lan can quản trị .
4. Trong Giao hàng nhật ký , chọn Thêm và chọn tùy chọn Đến Amazon S3
5. Đối với thùng đích S3 , hãy nhập thùng của bạn.
6. Để lọc dữ liệu nhạy cảm hoặc PII, hãy chọn Cài đặt bổ sung – tùy chọn và chỉ định các trường sẽ được ghi nhật ký, định dạng đầu ra và dấu phân cách trường.

Nếu bạn muốn email của người dùng được ghi lại trong nhật ký của mình, bạn phải thêm thông tin này một cách rõ ràng dưới dạng một trường trong phần Cài đặt bổ sung .

7. Chọn Thêm .
8. Chọn Bật ghi nhật ký để bắt đầu truyền dữ liệu hội thoại và phản hồi đến đích ghi nhật ký của bạn.

Nhật ký được gửi đến thùng S3 của bạn với tiền tố sau: AWSLogs/<your-aws-account-id>/AmazonQBusinessLogs/<your-aws-region>/<your-q-business-application–id>/year/month/day/hour/ Các chỗ giữ chỗ sẽ được thay thế bằng tài khoản AWS, Khu vực và mã định danh ứng dụng Amazon Q Business của bạn.

Thiết lập Data Firehose làm đích đến của nhật ký

Nhật ký sự kiện ứng dụng Amazon Q Business cũng có thể được truyền trực tuyến đến Data Firehose như một đích đến. Điều này có thể được sử dụng để quan sát theo thời gian thực. Chúng tôi đã loại trừ hướng dẫn thiết lập vì lý do ngắn gọn.

Để sử dụng Data Firehose làm đích nhật ký, bạn cần tạo luồng phân phối Firehose (có bật Direct PUT) và cấp cho Amazon Q Business các quyền thích hợp để ghi nhật ký của bạn vào Data Firehose. Ví dụ: chính sách AWS Identity and Access Management (IAM) với các quyền bắt buộc cho đích ghi nhật ký cụ thể của bạn, hãy xem Bật ghi nhật ký từ dịch vụ AWS .

Bảo vệ dữ liệu nhạy cảm

Bạn có thể ngăn người dùng hoặc nhóm người dùng bảng điều khiển AWS xem các nhóm nhật ký CloudWatch, thùng S3 hoặc luồng Firehose cụ thể bằng cách áp dụng các câu lệnh từ chối cụ thể trong chính sách IAM của họ. AWS tuân theo mô hình từ chối ghi đè cho phép rõ ràng, nghĩa là nếu bạn từ chối rõ ràng một hành động, hành động đó sẽ được ưu tiên hơn các câu lệnh cho phép. Để biết thêm thông tin, hãy xem Logic đánh giá chính sách .

Các trường hợp sử dụng thực tế

Phần này trình bày một số trường hợp sử dụng chính của Amazon Q Business Insights, chứng minh cách bạn có thể sử dụng dữ liệu hoạt động của Amazon Q Business để cải thiện tình hình hoạt động nhằm giúp Amazon Q Business đáp ứng nhu cầu của bạn.

Đo lường ROI bằng Amazon Q Business Insights

Bảng thông tin do Amazon Q Business Insights cung cấp cung cấp các số liệu mạnh mẽ giúp các tổ chức định lượng ROI của họ. Hãy xem xét tình huống phổ biến này: theo truyền thống, nhân viên dành vô số giờ để tìm kiếm trong các tài liệu riêng biệt, cơ sở kiến ​​thức và nhiều kho lưu trữ khác nhau để tìm câu trả lời cho các câu hỏi của họ. Quá trình tốn thời gian này không chỉ ảnh hưởng đến năng suất mà còn dẫn đến chi phí hoạt động đáng kể. Với bảng thông tin do Amazon Q Business Insights cung cấp, giờ đây, quản trị viên có thể đo lường tác động thực tế của khoản đầu tư của mình bằng cách theo dõi các số liệu chính như tổng số câu hỏi đã trả lời, tổng số cuộc trò chuyện, người dùng đang hoạt động và tỷ lệ phản hồi tích cực. Ví dụ: nếu một tổ chức biết rằng trước đây, nhân viên mất trung bình 3 phút để tìm câu trả lời trong tài liệu của họ và với Amazon Q Business, thời gian này được giảm xuống còn 20 giây, họ có thể tính toán thời gian tiết kiệm được cho mỗi truy vấn (2 phút 40 giây). Khi bảng thông tin hiển thị 1.000 truy vấn thành công mỗi tuần, điều này tương đương với khoảng 44 giờ tăng năng suất – thời gian mà nhân viên hiện có thể dành cho các nhiệm vụ có giá trị cao hơn. Sau đó, các tổ chức có thể chuyển những lợi ích về năng suất này thành khoản tiết kiệm chi phí hữu hình dựa trên các số liệu kinh doanh cụ thể của họ.

Hơn nữa, số liệu tỷ lệ phản hồi tích cực của bảng điều khiển giúp xác thực chất lượng và độ chính xác của phản hồi, đảm bảo nhân viên không chỉ nhận được câu trả lời mà còn là những câu trả lời đáng tin cậy giúp họ hoàn thành công việc một cách hiệu quả. Bằng cách phân tích các số liệu này theo thời gian—cho dù là trong 24 giờ, 7 ngày hay 30 ngày—các tổ chức có thể chứng minh cách Amazon Q Business đang chuyển đổi phương pháp quản lý kiến ​​thức của họ từ một quy trình rời rạc, tốn nhiều thời gian thành một hệ thống hiệu quả, tập trung. Phương pháp tiếp cận dựa trên dữ liệu này để đo lường ROI không chỉ biện minh cho khoản đầu tư mà còn giúp xác định các lĩnh vực mà dịch vụ có thể được tối ưu hóa để có lợi nhuận thậm chí còn lớn hơn.

Các tổ chức muốn định lượng lợi ích tài chính có thể phát triển các máy tính ROI của riêng mình phù hợp với nhu cầu cụ thể của họ. Bằng cách kết hợp các số liệu Amazon Q Business Insights với các biến kinh doanh nội bộ, các nhóm có thể tạo các mô hình ROI tùy chỉnh phản ánh bối cảnh hoạt động độc đáo của họ. Một số máy tính tham khảo có sẵn trực tuyến, từ các mẫu cơ bản đến các mô hình phức tạp hơn, có thể đóng vai trò là điểm khởi đầu để các tổ chức xây dựng các công cụ phân tích ROI của riêng họ. Phương pháp tiếp cận này cho phép các nhóm lãnh đạo chứng minh các lợi ích tài chính hữu hình từ khoản đầu tư Amazon Q Business của họ và đưa ra các quyết định dựa trên dữ liệu về việc mở rộng quy mô triển khai của họ, dựa trên các số liệu cụ thể và tiêu chí thành công của tổ chức họ.

Thực thi tuân thủ dịch vụ tài chính với Amazon Q Phân tích kinh doanh

Duy trì tuân thủ quy định trong khi vẫn đảm bảo năng suất là một sự cân bằng tinh tế. Khi các tổ chức áp dụng các công cụ hỗ trợ AI như Amazon Q Business, điều quan trọng là phải triển khai các biện pháp kiểm soát và giám sát phù hợp. Hãy cùng khám phá cách một tổ chức dịch vụ tài chính có thể sử dụng các chức năng và tính năng ghi nhật ký của Amazon Q Business Insights để duy trì tuân thủ và bảo vệ chống lại các hành vi vi phạm chính sách.

Hãy xem xét tình huống này: Một công ty đầu tư lớn đã áp dụng Amazon Q Business để giúp các cố vấn tài chính của họ nhanh chóng truy cập thông tin khách hàng, chính sách đầu tư và tài liệu quy định. Tuy nhiên, nhóm tuân thủ cần đảm bảo hệ thống không được sử dụng để lách các hạn chế giao dịch, đặc biệt là xung quanh các hoạt động giao dịch trong ngày có thể vi phạm các quy định của SEC và chính sách của công ty.

Xác định các vi phạm chính sách thông qua nhật ký Amazon Q Business

Khi nhóm tuân thủ cho phép gửi nhật ký đến CloudWatch với user_emailtrường được chọn, Amazon Q Business bắt đầu gửi nhật ký sự kiện chi tiết đến CloudWatch. Các nhật ký này được tách thành hai luồng nhật ký CloudWatch:

• QBusiness/Chat/Message – Bao gồm các tương tác của người dùng
• QBusiness/Chat/Feedback – Bao gồm phản hồi của người dùng về các phản hồi

Ví dụ, nhóm tuân thủ theo dõi nhật ký có thể phát hiện ra cuộc trò chuyện đáng lo ngại này từ Amazon Q Business:

{     “application_id”: “881486e0-c027-40ae-96c2-8bfcf8b99c2a”,     “event_timestamp”: “2025-01-30T19:19:23Z”,     “log_type”: “Message”,     “conversation_id”: “ffd1116d-5a6d-4db0-a00e-331e4eea172f”,     “user_message”: “What are the best strategies for day trading client accounts?”,     “user_email”: “janedoe@example.com” }

Nhóm tuân thủ có thể tự động hóa tìm kiếm này bằng cách tạo cảnh báo cho các truy vấn CloudWatch Metrics Insights trong CloudWatch.

Thực hiện các biện pháp kiểm soát phòng ngừa

Khi xác định được những nỗ lực này, quản trị viên Amazon Q Business có thể triển khai một số biện pháp kiểm soát ngay lập tức trong Amazon Q Business:

• Cấu hình cụm từ bị chặn để đảm bảo phản hồi trò chuyện không bao gồm những từ này
• Cấu hình các điều khiển cấp chủ đề để cấu hình các quy tắc nhằm tùy chỉnh cách Amazon Q Business phản hồi khi tin nhắn trò chuyện khớp với chủ đề đặc biệt

Ảnh chụp màn hình sau đây mô tả cách cấu hình các điều khiển cấp chủ đề cho cụm từ “giao dịch trong ngày”.

Sử dụng các điều khiển cấp chủ đề trước đó, các biến thể khác nhau của cụm từ “giao dịch trong ngày” sẽ bị chặn. Ảnh chụp màn hình sau đây thể hiện người dùng nhập các biến thể của cụm từ “giao dịch trong ngày” và cách Amazon Q Business chặn cụm từ đó do điều khiển cấp chủ đề cho cụm từ.

Bằng cách triển khai giám sát và cấu hình các rào chắn, công ty đầu tư có thể duy trì sự tuân thủ quy định của mình trong khi vẫn cho phép sử dụng hợp pháp Amazon Q Business cho các hoạt động được chấp thuận. Sự kết hợp giữa giám sát theo thời gian thực thông qua nhật ký và các rào chắn phòng ngừa tạo ra một hàng phòng thủ mạnh mẽ chống lại các vi phạm tiềm ẩn trong khi vẫn duy trì các dấu vết kiểm toán chi tiết cho các yêu cầu theo quy định.

Phân tích phản hồi của người dùng thông qua bảng điều khiển Amazon Q Business Insights

Sau khi thiết lập phân phối nhật ký, quản trị viên có thể sử dụng bảng thông tin Amazon Q Business Insights để có cái nhìn toàn diện về phản hồi của người dùng. Bảng thông tin này cung cấp dữ liệu có giá trị về trải nghiệm của người dùng và các lĩnh vực cần cải thiện thông qua hai thẻ số liệu chính: Phản hồi truy vấn không thành công và Lý do không thích . Biểu đồ Lý do không thích cung cấp phân tích chi tiết về phản hồi của người dùng, hiển thị phân phối và tần suất của các lý do cụ thể khiến người dùng thấy phản hồi không hữu ích. Phản hồi chi tiết này giúp quản trị viên xác định các mẫu trong phản hồi của người dùng, cho dù đó là do thông tin không đầy đủ, phản hồi không chính xác hay các yếu tố khác.

Tương tự như vậy, biểu đồ Phản hồi truy vấn không thành công phân biệt giữa các truy vấn không thành công vì không tìm thấy câu trả lời trong cơ sở kiến ​​thức so với các truy vấn bị chặn bởi cài đặt rào chắn. Cả hai số liệu đều cho phép quản trị viên phân tích sâu vào các truy vấn cụ thể thông qua các tùy chọn lọc và chế độ xem chi tiết, cho phép họ điều tra và giải quyết các vấn đề một cách có hệ thống. Vòng phản hồi này rất quan trọng để cải tiến liên tục, giúp các tổ chức tinh chỉnh nội dung, điều chỉnh rào chắn và nâng cao hiệu quả chung của việc triển khai Amazon Q Business.

Để xem chi tiết các phản hồi truy vấn không thành công, hãy làm theo các bước sau:

1. Chọn ứng dụng của bạn trên bảng điều khiển Amazon Q Business.
2. Chọn thông tin chi tiết về Amazon Q Business trong mục Thông tin chi tiết .
3. Đi tới thẻ số liệu Phản hồi truy vấn không thành công và chọn Xem chi tiết để giải quyết sự cố .

Một trang mới sẽ mở ra với hai tab: Không tìm thấy câu trả lời và Truy vấn bị chặn .

4. Bạn có thể sử dụng các tab này để lọc theo loại phản hồi. Bạn cũng có thể lọc theo ngày bằng bộ lọc ngày ở trên cùng.

5. Chọn bất kỳ truy vấn nào để xem chuỗi truy vấn

Điều này sẽ cung cấp cho bạn thêm thông tin chi tiết và bối cảnh về cuộc trò chuyện của người dùng khi cung cấp phản hồi.

Phân tích phản hồi của người dùng thông qua nhật ký CloudWatch

Trường hợp sử dụng này tập trung vào việc xác định và phân tích phản hồi không thỏa đáng từ những người dùng cụ thể trong Amazon Q Business. Sau khi bật chức năng phân phối nhật ký với user_emailtrường đã chọn, ứng dụng Amazon Q Business sẽ gửi nhật ký sự kiện đến nhóm nhật ký CloudWatch đã tạo trước đó. Tương tác trò chuyện của người dùng và việc gửi phản hồi sẽ tạo ra các sự kiện trong luồng nhật ký QBusiness/Chat/Messagevà QBusiness/Chat/Feedbacknhật ký tương ứng.

Ví dụ, hãy xem xét nếu người dùng hỏi về chính sách nghỉ phép của họ và không nhận được câu trả lời. Sau đó, người dùng có thể chọn biểu tượng ngón tay cái hướng xuống và gửi phản hồi cho quản trị viên.

Biểu mẫu Gửi phản hồi cung cấp cho người dùng tùy chọn phân loại phản hồi và cung cấp thêm thông tin chi tiết để quản trị viên xem xét.

Phản hồi này sẽ được gửi đến QBusiness/Chat/Feedbackluồng nhật ký để quản trị viên phân tích sau. Xem mục nhật ký mẫu sau:

{     “application_id”: “881486e0-c027-40ae-96c2-8bfcf8b99c2a”,     “event_timestamp”: “2025-02-25T18:50:41Z”,     “log_type”: “Feedback”,     “account_id”: “123456789012”,     “conversation_id”: “da2d22bf-86a1-4cc4-a7e2-96663aa05cc2”,     “system_message_id”: “3410aa16-5824-40cf-9d3d-1718cbe5b6bd”,     “user_message_id”: “221f85aa-494b-41e5-940a-034a3d22fba8”,     “user_message”: “Can you tell me about my vacation policy?”,     “system_message”: “No answer is found.”,     “comment”: “There is no response when asking about vacation policies. “,     “usefulness_reason”: “NOT_HELPFUL”,     “usefulness”: “NOT_USEFUL”,     “timestamp”: “1740509448782”,     “user_email”: “jane.doe@example.com” }

Bằng cách phân tích các truy vấn dẫn đến phản hồi không thỏa đáng (ngón tay cái hướng xuống), người quản trị có thể thực hiện các hành động để cải thiện chất lượng, độ chính xác và bảo mật của câu trả lời. Phản hồi này có thể giúp xác định các khoảng trống trong nguồn dữ liệu. Các mẫu trong phản hồi có thể chỉ ra các chủ đề mà người dùng có thể được hưởng lợi từ đào tạo bổ sung hoặc hướng dẫn về cách sử dụng Amazon Q Business hiệu quả.

Để giải quyết các vấn đề được xác định thông qua phân tích phản hồi, người quản lý có thể thực hiện một số hành động:

• Cấu hình tăng cường siêu dữ liệu để ưu tiên nội dung chính xác hơn trong phản hồi cho các truy vấn liên tục nhận được phản hồi tiêu cực
• Tinh chỉnh các rào cản và điều khiển trò chuyện để phù hợp hơn với kỳ vọng của người dùng và chính sách của tổ chức
• Phát triển đào tạo hoặc tài liệu có mục tiêu để giúp người dùng xây dựng lời nhắc hiệu quả hơn, bao gồm các kỹ thuật kỹ thuật nhắc nhở
• Phân tích lời nhắc của người dùng để xác định các rủi ro tiềm ẩn và củng cố các hoạt động xử lý dữ liệu phù hợp

Bằng cách theo dõi tin nhắn trò chuyện và người dùng nào đưa ra phản hồi “thích” hay “không thích” cho các lời nhắc liên quan, quản trị viên có thể hiểu rõ hơn về những lĩnh vực mà hệ thống có thể hoạt động kém, không đáp ứng được kỳ vọng của người dùng hoặc không tuân thủ chính sách bảo mật của tổ chức bạn.

Trường hợp sử dụng này có thể áp dụng cho các tùy chọn phân phối nhật ký khác, chẳng hạn như Amazon S3 và Data Firehose.

Nhóm người dùng nhận được nhiều câu trả lời vô ích nhất

Đối với những quản trị viên đang tìm kiếm thông tin chi tiết hơn ngoài bảng điều khiển tiêu chuẩn, CloudWatch Logs Insights cung cấp một công cụ mạnh mẽ để phân tích chuyên sâu các số liệu sử dụng Amazon Q Business. Bằng cách sử dụng CloudWatch Log Insights, quản trị viên có thể tạo các truy vấn tùy chỉnh để trích xuất và phân tích dữ liệu hiệu suất chi tiết. Ví dụ: bạn có thể tạo danh sách được sắp xếp theo thứ tự những người dùng gặp phải những tương tác không hữu ích nhất, chẳng hạn như xác định nhân viên nào liên tục nhận được phản hồi không thỏa đáng. Một truy vấn điển hình có thể tiết lộ các mẫu như “Người dùng A nhận được 9 câu trả lời không hữu ích trong 4 tuần qua, Người dùng B nhận được 5 câu trả lời không hữu ích và Người dùng C nhận được 3 câu trả lời không hữu ích”. Mức độ phân tích chi tiết này cho phép các tổ chức xác định chính xác các nhóm người dùng hoặc phòng ban cụ thể có thể cần đào tạo bổ sung, cấu hình nguồn dữ liệu hoặc hỗ trợ có mục tiêu để cải thiện trải nghiệm Amazon Q Business của họ.

Để có được những hiểu biết sâu sắc này, hãy hoàn thành các bước sau:

1. Để lấy ID ứng dụng Amazon Q Business, hãy mở bảng điều khiển Amazon Q Business, mở ứng dụng cụ thể và ghi lại ID ứng dụng trên Cài đặt ứng dụng

Mã định danh duy nhất này sẽ được sử dụng để lọc các nhóm nhật ký trong CloudWatch Logs Insights.

2. Trên bảng điều khiển CloudWatch, chọn Logs Insights trong mục Logs ở ngăn điều hướng.

3. Trong Tiêu chí lựa chọn , nhập ID ứng dụng bạn đã sao chép trước đó. Chọn nhóm nhật ký theo mẫu/aws/vendedlogs/qbusiness/application/EVENT_LOGS/<your application id>.

4. Đối với phạm vi thời gian dữ liệu, hãy chọn phạm vi bạn muốn sử dụng. Trong trường hợp của chúng tôi, chúng tôi đang sử dụng 4 tuần gần nhất và do đó chúng tôi chọn Tùy chỉnh , sau đó chúng tôi chỉ định 4 Tuần .
5. Thay thế truy vấn mặc định trong trình soạn thảo bằng truy vấn này:

filter usefulness = “NOT_USEFUL” and ispresent(user_email) | stats count(*) as total_unhelpful_anwers by user_email

Chúng tôi sử dụng điều kiện NOT_USEFUL vì chúng tôi muốn liệt kê những người dùng nhận được câu trả lời không hữu ích. Để có danh sách những người dùng nhận được câu trả lời hữu ích, hãy thay đổi điều kiện thành USEFUL.

6. Chọn Chạy truy vấn .

Với thông tin này, đặc biệt là user_emailbạn có thể viết một truy vấn mới để phân tích nhật ký cuộc trò chuyện mà người dùng nhận được câu trả lời không hữu ích. Ví dụ, để liệt kê các tin nhắn mà người dùng john_doekhông thích, hãy thay thế truy vấn của bạn bằng nội dung sau:

filter usefulness = “NOT_USEFUL” and user_email = “john_doe@anycompany.com”

Ngoài ra, để lọc các câu trả lời không hữu ích, bạn có thể sử dụng truy vấn sau:

filter usefulness = “NOT_USEFUL”

Kết quả của các truy vấn này có thể giúp bạn hiểu rõ hơn về bối cảnh phản hồi mà người dùng cung cấp. Như đã đề cập trước đó, có thể các rào cản của bạn quá hạn chế, ứng dụng của bạn thiếu nguồn dữ liệu hoặc có thể lời nhắc của người dùng không đủ rõ ràng.

Dọn dẹp

Để đảm bảo bạn không phải chịu chi phí liên tục, hãy dọn dẹp tài nguyên bằng cách xóa cấu hình phân phối nhật ký, xóa tài nguyên CloudWatch, xóa ứng dụng Amazon Q Business và xóa mọi tài nguyên AWS bổ sung được tạo sau khi bạn hoàn tất thử nghiệm chức năng này.

Phần kết luận

Trong bài đăng này, chúng tôi đã khám phá một số cách để cải thiện tư thế hoạt động của bạn bằng bảng thông tin Amazon Q Business Insights, bảng thông tin phân tích Amazon Q Apps và nhật ký với CloudWatch Logs. Bằng cách sử dụng các công cụ này, các tổ chức có thể có được những hiểu biết có giá trị về các mẫu tương tác của người dùng, xác định các lĩnh vực cần cải thiện và đảm bảo triển khai Amazon Q Business của họ phù hợp với các yêu cầu về bảo mật và tuân thủ.

Để tìm hiểu thêm về số liệu sử dụng khóa của Amazon Q Business, hãy tham khảo mục Xem số liệu Amazon Q Business và Q App trong bảng thông tin phân tích . Để xem lại toàn diện nhật ký Amazon Q Business CloudWatch, bao gồm các ví dụ về truy vấn nhật ký, hãy tham khảo mục Giám sát các cuộc hội thoại của người dùng Amazon Q Business bằng Nhật ký Amazon CloudWatch .

Về Các Tác Giả

Guillermo Mansilla là Senior Solutions Architect có trụ sở tại Orlando, Florida. Guillermo đã phát triển sự quan tâm sâu sắc đến các kiến trúc serverless và ứng dụng AI tạo sinh. Trước vai trò hiện tại, ông đã có hơn một thập kỷ kinh nghiệm làm việc như một software developer.

Amit Gupta là Senior Q Business Solutions Architect tại AWS. Ông đam mê việc hỗ trợ khách hàng với các giải pháp AI tạo sinh được thiết kế tốt ở quy mô lớn.

Jed Lechner là Specialist Solutions Architect tại Amazon Web Services chuyên về các giải pháp AI tạo sinh với Amazon Q Business và Amazon Q Apps. Trước vai trò hiện tại, ông làm việc như Software Engineer tại AWS và các công ty khác.

Leo Mentis Raj Selvaraj là Sr. Specialist Solutions Architect – GenAI tại AWS với 4.5 năm kinh nghiệm, hiện đang hướng dẫn khách hàng qua hành trình triển khai GenAI của họ.

Tags: Advanced (300), Amazon Q, Amazon Q Business, Artificial Intelligence, Generative AI, Technical How-to