___

by Snehal Nahar and Subha Kalia | on 09 MAY 2024 | in Advanced (300), Amazon Machine Learning, Amazon Q, Artificial Intelligence, AWS CloudTrail, Generative AI, Learning Levels, Management Tools, Security | Permalink |  Share

AWS CloudTrail theo dõi hoạt động người dùng và API trên môi trường AWS nhằm mục đích quản trị và kiểm tra. Các doanh nghiệp lớn sử dụng nhiều tài khoản AWS, và nhiều tài khoản trong số đó cần truy cập vào data lake được quản lý bởi một tài khoản AWS đơn. Bằng cách sử dụng Lake Formation tích hợp với CloudTrail Lake, bạn có thể tổng hợp dữ liệu một cách an toàn trên nhiều tài khoản AWS và tập trung dữ liệu vào một tài khoản bằng cách sử dụng kho lưu trữ dữ liệu event cho mục đích kiểm tra. Thông tin thêm về chia sẻ dữ liệu giữa các tài khoản trong Lake Formation có sẵn trong tài liệu công khai này.

Amazon QuickSight là một dịch vụ Business Intelligence hợp nhất cung cấp bảng thông tin tương tác hiện đại, truy vấn ngôn ngữ tự nhiên, báo cáo được phân trang, hiểu biết sâu sắc về máy học (ML) và phân tích nhúng trên quy mô lớn.  Nhờ hỗ trợ học máy, Amazon Q xử lý ngôn ngữ tự nhiên (NLP) để trả lời câu hỏi kinh doanh của bạn một cách nhanh chóng. Q sử dụng cùng một bộ dữ liệu QuickSight mà bạn sử dụng cho dashboard và báo cáo của mình, vì thế dữ liệu của bạn được quản lý và bảo mật. Tương tự như dữ liệu được chuẩn bị và trực quan bằng dashboard và báo cáo, dữ liệu có thể sẵn sàng cho tương tác dựa trên ngôn ngữ bằng cách sử dụng chủ đề. Các topic là tập hợp của một hoặc nhiều tập bộ dữ liệu đại diện cho một lĩnh vực cái mà người sử dụng doanh nghiệp có thể đặt câu hỏi. Để tìm hiểu cách tạo topic, hãy tham khảo  Tạo chủ đề Amazon QuickSight Q.

Trong bài đăng này, chúng tôi giải thích làm thế nào bạn có thể cho phép người dùng trong tổ chức hỏi và trả lời một số câu hỏi phổ biến liên quan đến CloudTrail log bằng ngôn ngữ hằng ngày của họ bằng cách sử dụng chức năng truy vấn ngôn ngữ tự nhiên của Amazon QuickSight, Amazon Q trong QuickSight. Khách hàng thường truy vấn log của Amazon CloudTrail cho nhiều mục đích khác nhau, bao gồm bảo mật, phân tích vận hành, tuần thủ và kiểm tra. Việc sử dụng QuickSight dashboard để trực quan dữ liệu và trích xuất thông tin thường dùng sẽ giúp người dùng có sẵn thông tin đó đồng thời loại bỏ nhu cầu trực tiếp vào CloudTrail Logs hoặc CloudWatch để truy vấn dữ liệu lấy thông tin. Dưới đây là một vài kịch bản phổ biến nơi chúng tôi có thể hiểu rõ hơn sử dụng CloudTrail logs và Amazon Q cho QuickSight:

Điều tra sự cố bảo mật: nếu có sự cố bảo mật đáng ngờ, chẳng hạn như các nỗ lực truy cập trái phép, vi phạm dữ liệu, hoặc các hoạt động đáng ngờ, khác hàng có thể sử dụng CloudTrail logs để  điều tra các event dẫn đến sự cố, xác định nguồn và thực hiện các biện pháp khắc phục thích hợp.

Tuân thủ và kiểm tra: nhiều tổ chức vận hành trong các nền công nghiệp liên quan và được yêu cầu duy trì các quy trình kiểm toán cho mục đích tuân thủ. CloudTrail logs có thể cung cấp một bản ghi chi tiết về các lệnh gọi API và thay đổi tài nguyên, cho phép khách hàng chứng minh sự tuân thủ các tiêu chuẩn ngành và yêu cầu liên quan.

Giám sát hoạt động người dùng: Bằng cách phân tích CloudTrail Logs, khách hàng có thể giám sát hoạt động người dùng trong môi trường AWS của họ, bao gồm các hành động do người dùng hoặc vai trò cụ thể thực hiện. Điều này có thể giúp xác định hành vi lạm dụng tiềm ẩn hoặc các nỗ lực truy cập trái phép.

Giám sát và theo dõi tài nguyên: CloudTrail logs có thể thường xuyên giám sát và theo dõi thay đổi được thực hiện đối với tài nguyên AWS của họ,  chẳng hạn như khởi tạo hoặc chấm dứt instances, tạo, hoặc sửa đổi các nhóm bảo mật hoặc sửa đổi các IAM policies. Thông tin này có thể có giá trị cho việc phân tích hoạt động, lập kế hoạch năng lực và xử lý sự cố.

Điều tra và tối ưu hóa chi phí: CloudTrail logs cung cấp khả năng hiển thị về việc sử dụng tài nguyên AWS, cho phép tổ chức xác định xác định các tài nguyên không được sử dụng đúng mức hoặc không sử dụng kết hợp với các dịch vụ AWS khác như AWS Config.

Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn các ví dụ bên dưới để điều tra về bảo mật và tuân thủ:

1. Có bao nhiêu sự kiện có địa chỉ IP nguồn đáng ngờ theo nguồn event.
2. Có bao nhiêu loại event đang sử dụng TLS v 1.2 ?

Tổng quan về giải pháp:

Đối với giải pháp này, bạn sẽ:

1. Tạo một bảng Athena từ kho lưu trữ CloudTrail Event Lake và chuyển đổi bảng đó thành dạng xem với dữ liệu CloudTrail logs liên quan.
2. Kích hoạt Amazon Q trong QuickSight trên tập dữ liệu CloudTrail Lake.
3. Sử dụng Amazon Q Topics để phân tích CloudTrail logs nhằm điều tra một vài trường hợp sử dụng phổ biến trong CloudTrail logs bằng câu hỏi và câu trả lời.
4. Cấu hình Amazon Q Topics để trả lời câu hỏi.

Điều kiện tiên quyết:

• Tài khoản AWS có quyền kích hoạt CloudTrail.
• Để trực quan hóa, bạn nên thiết lập Amazon QuickSight. Nếu không, vui lòng làm theo các bước đề cập trong tài liệu này để thiết lập Amazon QuickSight.

Hình 1:  Sơ đồ kiến trúc giải pháp

Bước 1: Tạo kho lưu trữ sự kiện với liên kết lake query và Athena view

Trong phần này, bạn sẽ tạo một kho lưu trữ dữ liệu event với tùy chọn CloudTrail Lake query được bật để thu thập và lưu trữ các event quản lý. Kho lưu trữ dữ liệu event này sẽ ghi lại các lệnh gọi API.

1. Điều hướng đến bảng điều khiển CloudTrail. Từ ngăn điều hướng, dưới Lake, chọn kho dữ liệu event.
2. Từ bảng bên phải, chọn tạo kho dữ liệu event.
3. Trên trang cấu hình kho dữ liệu event, trong phần chi tiết chung, nhập một cái tên như là “demo-cloudtrail-lake”.
4. Chỉ định tùy chọn định giá theo yêu cầu của bạn và chọn thời gian lưu trữ.
5. Trong liên kết truy vấn Lake, chọn Enabled. Dưới chọn IAM role, chọn Create và sử dụng một role mới.
6. Giữ phần còn lại như default.. Chọn Next.
7. Trên trang chọn Events, giữ mọi thứ mặc định. Chọn Next. Trên trang Review và create, chọn Create event data store

Bằng cách sử dụng CloudTrail Lake query, AWS CloudTrail tự động tạo một cơ sở dữ liệu và bảng trong danh mục AWS Glue Data.

Hình 2: Bảng điều khiển hiển thị cách bật liên kết lake query và chọn IAM role

8. Chọn Glue Resources và Navigate đến Bảng Glue. Bạn cũng có thể xem bảng trong Athena. Theo mặc định, bảng được tạo dưới cơ sở dữ liệu “aws:cloudtrail”.

Hình 3: Xem tài nguyên glue

9.  Chạy theo truy vấn đối với cơ sở dữ liệu “default” để tạo bảng ở chế độ xem từ bảng phía trên trích xuất các trường liên quan sẽ được sử dụng trong tập dữ liệu QuickSigh.

SQL

CREATE VIEW vw_quicksight_Ctlogs   AS   SELECT eventid AS “Event ID”,   eventtime AS “Event Time”,   eventname AS “Event Name”,   eventtype AS “Event Type”,   awsregion AS “AWS Region”,   sessioncredentialfromconsole AS “Session Credentials Console”,   CAST(useridentity.accountid AS varchar) AS “Account ID”,   CAST(resources[1].arn AS varchar) AS “Resource ID”,   CAST(resources[1].accountid AS varchar) AS “Resource Account ID”,   eventsource AS “Event Source”,   errorcode AS “Error Code”,   errormessage AS “Error Message”,   CAST(useridentity.principalid AS varchar) As “Principal Id”,   sourceipaddress AS “Source IP Address”,   recipientAccountId AS “Recipient Account Id”,   vpcendpointid AS “VPC Endpoint”,   CAST(tlsdetails.tlsversion AS varchar) As “TLS version”,   CAST(tlsdetails.ciphersuite AS varchar) AS “Cipher Suite”   FROM “aws:cloudtrail”.”xxxxxxxxxxxxxxxxxx”

Note: thay thế tên bảng trước khi bạn chạy truy vấn

Step 2:  Nhập Athena View vào QuickSight

Để bắt đầu trực quan hóa CloudTrail logs trong QuickSight, tạo một dataset sử dụng Bảng Athena được tạo bởi truy vấn trong phần trước.

Hình 4: Trang hiển thị cách nhập Athena view vào QuickSight

Lưu ý: Vui lòng đợi cho đến khi quá trình nhập thành công. Điều này phụ thuộc vào khối lượng dữ liệu được nhập.

Bước 3: Tạo Amazon Q Topic cho CloudTrail Logs

Để bắt đầu sử dụng Amazon Q trong QuickSight, hãy đảm bảo bạn đã bật Q cho QuickSight. Để biết thêm hướng dẫn chi tiết, tham khảo Bắt đầu với Amazon QuickSight Q hoặc xem video sau.

Để người dung có thể truy cập tính năng Amazon Q Generation AI, họ phải năng cấp lên Reader Pro, Author Pro hoặc Admin Pro roles.

Hình 5: Trang hiển thị thông tin về cách kích hoạt các tính năng Generative AI nâng cấp vai trò của người dùng

1. Để tạo Amazon Q topic in QuickSight
2. Trong trường hợp này, chúng tôi sẽ tạo một topic tên “CloudTrail Logs Q”.

Hình 6: Trang hiển thị cách tạo chủ đề mới và và chọn generative Q&A experience

3 Kiểm tra “Use new generative Q & A experience” hộp kiểm và chọn dataset trong bước kế tiếp.

Hình 7:  Trang hiển thị cách chọn dataset cho topic

Ngoài ra, với tư cách là author khi bạn tạo một topic, bạn có thể:

4. Thêm tên thân thiện, từ đồng nghĩa và mô tả vào dataset và các cột để cải thiện câu trả lời của Amazon Q’s

5.  Chia sẻ Topic với những người dùng của bạn để họ có thể đặt câu hỏi về Topic.

6. Xem các câu hỏi người dùng của bạn đang hỏi, cách Amazon Q trả lời những câu hỏi này và cải thiện câu trả lời.

Hình 8: Trang hiển thị mẫu Topic Q

Amazon Q sẽ xác định các từ đồng nghĩa liên quan cho mỗi trường. Bạn cũng có thể định nghĩa cho các trường để cung cấp thêm bối cảnh cho Amazon Q.

Bạn cũng có thể thêm các trường tính toán để cho phép Q trả lời một số câu hỏi phổ biến.

Bạn có thể tạo các thực thể được đặt tên để nhóm các trường liên quan lại với nhau để Amazon Q cung cấp câu trả lời. Để biết thêm chi tiết, vui lòng tham khảo “ Tạo thực thể được đặt trên trong QuickSight Q”. Trong trường hợp chúng tôi sẽ tạo các thực thể được đặt tên.

• Event: Event ID, Event Name, Event Type, Event Time và Account ID
• Resource: Resource ID, Resource Account ID

Bây giờ, chúng ta đã sẵn sàng tiếp tục và sử dụng topic mà chúng ta đã tạo để bắt đầu đặt câu hỏi về dữ liệu.

Bước 4: Sử dụng Amazon Q Topic trong QuickSight cho hỏi đáp

Để thêm Topic Q về CloudTrail Logs vào dashboard của bạn:

1. Điều hướng đến Analysis để trực quan hóa Dataset CT-Logs.
2. Chọn Build Visal ở thanh màu xanh lam trên cùng.
3. Link Topic với phân tích.

Hình 9: Trang hiển thị cách liên kết một topic đến bảng phân tích

Mỗi topic được liên kết đến bảng phân tích của bạn, bạn có thể sử dụng Amazon Q trong QuickSight để thêm trực quan hóa đến dashboard của bạn bằng cách đặt câu hỏi xung quanh những điểm dữ liệu liên quan.

Chúng ta xây dựng dashboard sau đây bằng cách sử dụng hướng dẫn tại đây. Publish dashboard cho người dùng của bạn để bắt đầu trực quan dữ liệu và hỏi nhiều câu hỏi cụ thể hơn. Chọn Ask ở góc trên bên phải màn hình để bắt đầu sử dụng Amazon Q trong QuickSight để đặt các câu hỏi cụ thể về tập dữ liệu của bạn.

Hình 10: Trang hiển một mẫu dashboard

Kịch bản 1: Có bao nhiêu events có địa chỉ IP nguồn đáng ngờ được nhóm theo nguồn event?

Trong trường hợp này, địa chỉ IP mà chúng ta đang điều tra là “52.94.133.132” vì đây không phải một địa chỉ IP đã biết. Vì vậy chúng ta đặt  hỏi như sau:

Có bao nhiêu event trong đó địa chỉ IP nguồn chứa “52.94.133.132” theo nguồn event?

Hãy hiểu theo kết quả sau: 

1. Chúng tôi sử dụng thanh Q để đặt câu hỏi liên quan đến một IP nguồn có thể là tác nhân xâu.
2. Câu hỏi này có thể Marked as verified (đánh dấu) bởi Topic của chủ sở hữu hoặc người dùng xác minh cho biết kết quả đầu ra dựa theo giá trị tìm kiếm. Nó cũng cho thấy câu hỏi được diễn giải như thế nào. Người dùng có thể sử dụng biểu tượng bút chì để chỉnh sửa bất kỳ trường nào hoặc thay đổi cách diễn câu hỏi.
3. Q cung cấp bảng tóm tắt nhanh chóng của dữ liệu trong dataset hiện có.
4. Biểu đồ thanh hiển thị số lượng event trên mỗi nguồn event cho IP nguồn.
5. Vì “Events” là một thực thể được định nghĩa tên, nó cũng hiển thị chi tiết sự kiện liên quan dưới dạng hình ảnh phụ khi câu hỏi được đặt ra.

Hình 11: trang hiển thị thông tin chi tiết từ Amazon Q cho kịch bản 1

Tình huống 2: Có bao nhiêu loại event đang sử dụng TLS phiên bản 1.2?

Giống như câu hỏi trước kết quả của câu hỏi này hiển thị hình ảnh trực quan có liên quan dựa trên dữ liệu, chẳng hạn như:

• Tóm tắt dataset
• Số lượng event duy nhất.
• Số lượng event và xu hướng trong ngày.
• Danh sách events được xem xét để tìm câu trả lời cho câu hỏi này.

Hình 12: Thông tin từ Amazon Q từ kịch bản 2

Dọn dẹp

Các tốt nhất để dọn dẹp bất cứ tài nguyên nào mà bạn không có kế hoạch để sử dụng tiếp. Điều này sẽ tránh được mọi khoản phí bất ngờ.

Kho dữ liệu event CloudTrail Lake được tính phí dựa trên số lượng dữ liệu nhập. Để biết thêm chi tiết vui lòng xem lại cách tính giá CloudTrail Lake.

• Đảm bảo bạn ngừng nhập các events CloudTrail để tránh phí không mong muốn.
• Xóa kho lưu trữ event.
• Chúng tôi khuyên bạn nên hủy liên kết topic từ bảng phân tích của mình để không bị tính phí cho dung lượng cần thiết để trả lời các câu hỏi của người dùng.
• Hủy đăng ký Amazon QuickSight Q.

Vui lòng tham khảo Amazon Q về giá QuickSight để biết thêm thông tin.

Kết luận

Trong bài đăng này, chúng tôi đã hướng dẫn bạn các bước cho phép người dùng truy cập vào tổ chức truy vấn CloudTrail Logs bằng ngôn ngữ tự nhiên thông qua Amazon Q trong QuickSight. Chúng tôi cũng đã trình bày cách bạn có thể kích hoạt liên kết truy vấn trong CloudTrail Lake để nhập CloudTrail vào Athena dataset. Chúng tôi cũng chỉ ra cách xây dựng Amazon Q Topic để cho phép người dùng đặt câu hỏi thông qua QuickSight Dashboards

Đây chỉ là một vài ví dụ về cách các dịch vụ AWS tích hợp nhau để giúp bạn thu được thông tin từ dữ liệu của mình nhanh hơn. Các trường hợp  và tình huống cụ thể có thể khác nhau tùy thuộc vào yêu cầu của tổ chức, ngành và độ phức tạp của môi trường AWS. Bạn có thể muốn xem lại Các phương pháp hay nhất để bật Truy vấn ngôn ngữ tự nhiên cho người dùng để đạt được kết quả hiệu quả hơn.

Giới thiệu về tác giả:

Snehal Nahar là Giám đốc tài khoản kỹ thuật chính (Chuyên gia bảo mật) tại AWS. Cô đam mê xây dựng các giải pháp đổi mới sử dụng dịch vụ AWS để giúp khách hàng đạt được mục tiêu kinh doanh của mình. Cô thích dành thời gian với gia đình và bạn bè, chơi trò chơi board game và xem TV.

Subha là Trưởng nhóm hỗ trợ doanh nghiệp (TAM) tại AWS ở Bắc Carolina. Cô có hơn 17 năm kinh nghiệm trong lĩnh vực công nghệ với nhiều vai trò khác nhau. Cô ấy đam mê giải quyết vấn đề thay mặt cho khách hàng của chúng tôi để giảm bớt những thách thức và xích mích trong hoạt động. Lĩnh vực trọng tâm của cô là AI/ML và Khoa học đời sống chăm sóc sức khỏe. Ngoài công việc, cô thích đi du lịch cùng gia đình, tìm hiểu về các nền văn hóa khác nhau và thử các món ăn khác nhau.

Link Blog:

https://aws.amazon.com/blogs/mt/gain-insights-with-natural-language-query-into-your-aws-environment-using-amazon-cloudtrail-and-amazon-q-in-quicksight