bởi Ranjith Krishnamoorthy, Punit Shah, và Shobhit Gupta | vào ngày 08 JAN 2024 |

Người tiêu dùng mong đợi các công ty tương tác với họ một cách liên quan và cá nhân theo cách đặc biệt và cá nhân hóa, bất kể kênh nào. Trong một nghiên cứu của Twilio, 60% người tiêu dùng cho biết họ sẽ thực hiện một giao dịch mua lại sau một trải nghiệm được cá nhân hóa. Một nghiên cứu từ McKinsey & Company cho thấy hơn 70% người tiêu dùng mong đợi một hành trình được cá nhân hóa, và các tổ chức thực hiện cá nhân hóa nhận thức một tăng trưởng từ 10 đến 15 phần trăm trong doanh thu.

Ngày nay, các nhà tiếp thị và quảng cáo cần một cái nhìn tổng thể về dữ liệu người tiêu dùng để thúc đẩy chiến dịch tiếp thị và quảng cáo cá nhân hóa trên các kênh web, di động, trung tâm liên lạc và mạng xã hội. Ví dụ, nếu một người tiêu dùng vừa mua một sản phẩm trên trang web của một thương hiệu, các nhà tiếp thị muốn tránh việc gửi email khuyến mãi cho họ về cùng một sản phẩm và thay vào đó muốn làm họ hài lòng bằng những sản phẩm bổ sung, tăng cường sự tương tác, lòng trung thành và niềm tin vào thương hiệu. Tuy nhiên, các nhà tiếp thị thường phải làm rõ nhiều bản ghi cấp người tiêu dùng và thường là không đồng nhất trên các kênh khác nhau, các dòng kinh doanh và đối tác khác nhau. Những bản ghi này có thông tin thưa thớt hoặc thiếu, chính tả sai, và thông tin sai hoặc lạc hậu, làm cho chúng khó có thể làm rõ. Experian ước tính có đến 94% tổ chức nghi ngờ rằng dữ liệu của họ về người tiêu dùng và triển vọng có thể không chính xác. Điều này bao gồm tỷ lệ trùng lặp giữa 10 và 30% đối với các công ty không thực hiện các chiến dịch chất lượng dữ liệu. Để giải quyết những thách thức này, các công ty cần có khả năng làm rõ thực thể dễ sử dụng, có thể cấu hình và an toàn để phù hợp, liên kết và nâng cao độ chính xác của bản ghi người tiêu dùng.

Bài đăng trên blog này mô tả một mô hình kiến trúc có thể tạo ra một giải pháp làm rõ thực thể không máy chủ từ đầu đến cuối sử dụng AWS Entity Resolution. AWS Entity Resolution giúp các công ty phù hợp, liên kết và nâng cao các bản ghi liên quan qua nhiều ứng dụng, kênh và lưu trữ dữ liệu bằng cách sử dụng các quy trình linh hoạt và có thể cấu hình. Bài viết này tập trung vào việc xây dựng một đường ống dữ liệu tự động có thể nhập và chuẩn bị dữ liệu (gần thời gian thực và theo lô), thực hiện phù hợp và truy xuất các phù hợp gần thời gian thực bằng cách sử dụng AWS Entity Resolution. Khách hàng cũng có thể sử dụng một dịch vụ quản lý cho nhu cầu quản lý dữ liệu từ đầu đến cuối của họ, bao gồm nhập dữ liệu từ 80+ kết nối ứng dụng SaaS, tạo hồ sơ thống nhất bao gồm giải pháp làm rõ thực thể để loại bỏ hồ sơ trùng lặp và truy cập dữ liệu có độ trễ thấp sử dụng Amazon Connect Customer Profiles. Với cái nhìn toàn diện về thông tin khách hàng có liên quan trong một địa điểm duy nhất, các công ty có thể cung cấp dịch vụ khách hàng cá nhân hóa hơn, triển khai chiến dịch quảng cáo có liên quan hơn và nâng cao sự hài lòng của khách hàng. Bạn có thể đọc cách xây dựng hồ sơ khách hàng thống nhất với Amazon Connect hoặc xem cách Choice Hotels đã sử dụng Customer Profiles để xây dựng hồ sơ du khách thống nhất.

Ví dụ ở mức cao

Hãy sử dụng ví dụ của AnyCompany, một thương hiệu thương mại điện tử hàng đầu, để làm bối cảnh cho giải pháp được đề xuất. AnyCompany có hơn 100 thương hiệu con trong nhiều lĩnh vực như hàng tiêu dùng đóng gói (CPG), điện tử, du lịch, và nhiều lĩnh vực khác. Họ muốn mang đến một trải nghiệm cá nhân hóa cho khách hàng và xây dựng lòng trung thành từ phía khách hàng. Sử dụng mô hình kiến trúc có thể tạo ra (composable architecture pattern), AnyCompany xây dựng một giải pháp không máy chủ để nhập dữ liệu từ nhiều nguồn (hệ thống quản lý mối quan hệ khách hàng (CRM), nền tảng dữ liệu khách hàng (CDP), hệ thống quản lý nội dung (CMS) và hệ thống quản lý dữ liệu chính (MDM)), và tạo ra một cái nhìn thống nhất về khách hàng của họ.

Kiến trúc giải pháp được đề xuất

Biểu đồ và mô tả kiến trúc sau đây cung cấp một cái nhìn tổng quan về quy trình từ đầu đến cuối cho việc nhập dữ liệu, chuẩn bị và giải quyết bằng cách sử dụng các dịch vụ AWS không máy chủ được xây dựng đặc biệt cho mục đích này.

Bước I – Xử lý dữ liệu lịch sử

1. Ngày 0 của quy trình làm việc, hệ thống tương tác (hệ thống nguồn) chứa thông tin lịch sử về các người tiêu dùng sẽ được làm rõ bằng cách sử dụng AWS Entity Resolution.

2. Sử dụng các dịch vụ nhập dữ liệu hàng loạt hoặc Giải pháp Kết nối Dữ liệu AWS, dữ liệu lịch sử được tải vào Khu vực Lưu trữ Đơn giản của Amazon (Amazon S3). Xem Mẫu và Thực hành Đặt mô hình Nhập dữ liệu AWS để biết thêm thông tin.

3. Để chuẩn bị dữ liệu lịch sử cho AWS Entity Resolution, sử dụng một quy tắc Amazon EventBridge để chạy một luồng công việc tiêu chuẩn AWS Step Function, điều phối một ống dẫn kỹ thuật dữ liệu. Quy tắc Amazon EventBridge có thể được lập lịch để khởi chạy ở tần suất cụ thể để xử lý nguồn dữ liệu hàng loạt.

4. Trong luồng công việc tiêu chuẩn AWS Step Functions, một công việc AWS Glue biến đổi dữ liệu được lưu trữ trong vị trí Amazon S3 raw. Sử dụng bước này để xác thực, chuẩn hóa và bảo vệ thông tin cá nhân có thể xác định (PII).

1. Xem Hướng dẫn Tùy chỉnh Thư viện Chuẩn hóa cho AWS Entity Resolution để xây dựng một quy trình làm việc chuẩn hóa dữ liệu tùy chỉnh.

2. Xem Hướng dẫn Chuẩn bị và Xác thực Bản ghi để Làm rõ Thực thể trên AWS để tạo một quy trình làm việc chuẩn bị dữ liệu bao gồm xác thực và chuẩn hóa dữ liệu.

5. Dữ liệu được chuẩn hóa và xác thực được lưu trữ trong một thùng chứa Clean Zone S3 dưới định dạng CSV hoặc parquet và được đăng ký trong AWS Glue Catalog như một bảng AWS Glue.

6. Cấu hình thùng chứa Clean Zone S3 để tạo thông báo Amazon EventBridge. Xem Sử dụng Thông báo Sự kiện Amazon S3 với Amazon EventBridge để biết thêm chi tiết.

7. Tạo một quy trình làm việc phù hợp với AWS Entity Resolution bằng cách sử dụng một kỹ thuật phù hợp dựa trên quy tắc hoạt động ở một tần suất xử lý tự động. Điều này cho phép dịch vụ làm rõ danh tính từ các bộ dữ liệu khác nhau khi chúng đến trong Clean Zone. AWS Entity Resolution liên kết và phù hợp các bản ghi để tạo ra các hồ sơ duy nhất, được gọi là MatchGroups. Mỗi MatchGroup được gán một ID duy nhất và có thể liên tục (MatchId).

Bước II – Tra cứu gần thời gian thực

1. Sử dụng Amazon API Gateway để chứa các REST APIs phục vụ các hệ thống tương tác gần thời gian thực cho nhu cầu tra cứu danh tính của họ.

2. Sử dụng Các Luồng Làm việc Thông thường Đồng bộ cho AWS Step Functions để điều phối các micro-service để đạt được việc tra cứu thực thể hiện tại và các kiểm tra quy tắc kinh doanh khác trong thời gian gần thời gian thực. Xem Các Luồng Làm việc Thông thường Đồng bộ Mới cho AWS Step Functions để biết các bước chi tiết để tạo một Luồng Làm việc Thông thường Đồng bộ với tích hợp API Gateway.

3. Quy trình làm việc của AWS Step Functions gọi một hoặc nhiều chức năng AWS Lambda theo chuỗi hoặc song song để thực hiện việc xác thực dữ liệu PII như email, địa chỉ và số điện thoại.

4. Dữ liệu PII được chuẩn hóa và xác thực được gửi đến hành động GetMatchId của AWS Entity Resolution dưới dạng đầu vào để so khớp với các MatchGroups đã tạo trước đó. Ví dụ, AnyCompany có thể muốn biết nếu một người truy cập trang web của họ là người tiêu dùng đã biết để họ có thể cung cấp trải nghiệm ngữ cảnh. Trong trường hợp này, dữ liệu được thu thập bởi cookie của bên thứ nhất (1P) có thể được gửi đến AWS Entity Resolution qua API GetMatchId để so khớp với các MatchGroups đã biết. Nếu tìm thấy một sự trùng khớp, MatchId tương ứng được gửi lại như một phản hồi.

Bước III – Xử lý tăng cường liên tục

1. Nếu có sự trùng khớp, hệ thống tương tác tiêu thụ MatchId và sử dụng nó để thông báo quyết định của ứng dụng. ID này có thể được lưu trữ trong cơ sở dữ liệu ứng dụng hoặc được sử dụng để làm phong phú dữ liệu sự kiện được tạo ra để xử lý hậu kiểm bất đồng bộ hạ lưu.

2. Mọi dữ liệu bổ sung đến từ các nguồn liên quan (hàng loạt hoặc thời gian thực) được gửi đến AWS Entity Resolution để đảm bảo rằng các MatchGroups được duy trì hiện tại. Trong quy trình tra cứu gần thời gian thực, một chức năng Lambda được cấu hình để gửi các yêu cầu tra cứu đến Amazon Kinesis Data Streams.

3. Sử dụng Amazon Kinesis Data Firehose để ghi vào Raw S3 Bucket của luồng. Dữ liệu này sau đó được xử lý bởi cùng một luồng công việc đã được thiết lập trong quá trình xử lý lịch sử. Dữ liệu bổ sung được chuyển đến AWS Entity Resolution để so khớp với các MatchGroups đã tạo trước đó. Nếu bất kỳ bản ghi bổ sung nào giải quyết thành một MatchGroup hiện tại, nó sẽ kế thừa cùng một MatchId, nếu không nó có thể tạo ra một MatchGroup mới với MatchId riêng của nó. Trong các tình huống khi một bản ghi hiện tại được cập nhật như là một phần của chạy bổ sung, thông tin mới sẽ được đánh giá so với MatchGroup hiện tại và, dựa trên thay đổi thông tin, nó có thể chia thành một MatchGroup mới hoặc giữ nguyên MatchGroup hiện tại của nó.

4. AWS Entity Resolution tạo ra các tệp đầu ra cho thùng chứa S3. Điều này được đóng gói và gửi đến các hệ thống tương tác để kích hoạt và cá nhân hóa bằng cách sử dụng AWS Glue. Xử lý sau cùng này có thể bao gồm việc hợp nhất bản ghi từ nhiều nguồn thành một bản ghi và nhiều công việc khác. Xử lý sau cùng cũng bao gồm việc xử lý các tệp lỗi luồng công việc mà dịch vụ tạo ra để người dùng có thể kiểm tra và giải quyết.

Bảo mật

1. Sử dụng các dịch vụ AWS sau đây để triển khai bảo mật và kiểm soát quyền truy cập:

2. AWS Identity and Access Management (IAM): Cung cấp quyền truy cập tối thiểu đến các nguồn tài nguyên và các thao tác cụ thể.
3. AWS Key Management Service (AWS KMS): Quản lý vòng đời của các khóa mã hóa được sử dụng để bảo vệ dữ liệu ở trạng thái yên và trong quá trình truyền.
4. AWS Secrets Manager: Cung cấp lưu trữ an toàn cho các bí mật như mật khẩu và khóa API.
5. Amazon CloudWatch: Nơi tập trung để ghi lại các nhật ký và số liệu trên tất cả các dịch vụ được sử dụng trong giải pháp này.

Kết luận

Trong bài viết này, chúng tôi đã chỉ ra cách bạn có thể sử dụng các dịch vụ AWS để xây dựng một luồng công việc giải quyết thực thể không máy chủ thông qua ví dụ về trường hợp sử dụng của AnyCompany để cung cấp trải nghiệm cá nhân hóa cho người tiêu dùng. Chúng tôi giới thiệu ba khả năng chính của AWS Entity Resolution giúp bạn xây dựng luồng công việc khớp dữ liệu.

1. Tra cứu thực thể gần thời gian thực
2. Xử lý tăng cường tự động
3. Luồng công việc hàng loạt theo yêu cầu

Để biết thêm thông tin, hãy xem Các Tính Năng của AWS Entity Resolution.

Chúng tôi cũng giải thích cách các dịch vụ không máy chủ khác của AWS có thể được kết hợp để xây dựng sự phối hợp microservice cho tích hợp hệ thống gần thời gian thực và luồng công việc xử lý dữ liệu hàng loạt. Xem Tài nguyên AWS Entity Resolution để tìm hiểu thêm.

Về tác giả:

Ranjith Krishnamoorthy

Ranjith là Giám đốc Nền tảng dữ liệu của WW về nhóm Giải pháp Công nghiệp Công nghệ Quảng cáo và Tiếp thị. Trong vai trò này, trọng tâm của anh là giúp Khách hàng AWS đạt được các mục tiêu kinh doanh Quảng cáo và Tiếp thị bằng cách sử dụng Dịch vụ AWS, Giải pháp AWS, Hướng dẫn giải pháp và giải pháp Đối tác. Ông mang hơn 20 năm kinh nghiệm toàn cầu làm việc cho các Doanh nghiệp lớn (Viễn thông, Bán lẻ, Sản xuất), Nhà cung cấp phần mềm độc lập và Nhà tích hợp hệ thống để giải quyết các thách thức của khách hàng. Mục tiêu của anh là tìm hiểu sâu và cung cấp cái nhìn khách quan để giúp khách hàng lựa chọn Công nghệ/Kiến trúc phân tích dữ liệu và đám mây phù hợp để giải quyết các thách thức kinh doanh và công nghệ của họ. Anh hiện đang nỗ lực đưa các Giải pháp AWS ra thị trường nhằm giải quyết các trường hợp sử dụng trong các lĩnh vực Cộng tác dữ liệu nâng cao quyền riêng tư, Quản lý dữ liệu đối tượng và khách hàng cũng như Giải pháp quảng cáo theo thời gian thực.

Punit Shah

Punit là Kiến trúc sư giải pháp cấp cao tại Amazon Web Services, nơi ông tập trung vào việc giúp khách hàng xây dựng chiến lược phân tích và dữ liệu của họ trên đám mây. Với vai trò hiện tại của mình, anh hỗ trợ khách hàng xây dựng nền tảng dữ liệu vững chắc để giải quyết các trường hợp sử dụng quảng cáo và tiếp thị bằng cách sử dụng các dịch vụ AWS như AWS Entity Nghị quyết, Amazon Connect và Amazon Neptune. Ông có hơn 15 năm kinh nghiệm trong ngành xây dựng các hồ dữ liệu lớn.

Shobhit Gupta

Shobhit là Giám đốc Sản phẩm tại Amazon Web Services. Anh ấy có chuyên môn trong việc xây dựng các dịch vụ quản lý dữ liệu cho machine learning trải rộng trong các ngành như chăm sóc sức khỏe, bán lẻ, dịch vụ tài chính và khu vực công, v.v. Tại AWS, anh ấy làm việc với các nhóm giao thoa giữa dữ liệu và machine learning như AWS Clean Rooms, Amazon Connect, AWS Phân giải thực thể và Cá nhân hóa Amazon. Anh ấy là một doanh nhân nối tiếp với hơn 10 năm kinh nghiệm mở rộng quy mô các công ty trong lĩnh vực ứng dụng di động, Dữ liệu lớn và Internet of Things (IOT). Ông cũng đã dành thời gian tư vấn quản lý cho khách hàng trong khu vực công, chăm sóc sức khỏe và bán lẻ.