Tác giả: Ryan Anderson, Alok Rathi, Vivek Bhargava, Josh Baverstock và Vinamra Jain 

Ngày đăng: 24 tháng 04 năm 2025 

Danh mục: Advanced (300), Amazon API Gateway, Amazon CloudWatch, Amazon DynamoDB, Amazon Elastic Block Store (Amazon EBS), Amazon Simple Queue Service (SQS), Amazon Simple Storage Service (S3), AWS Fargate, AWS Lambda, AWS Secrets Manager, AWS Step Functions, AWS Transfer Family, Customer Solutions, Storage

FICO cung cấp nền tảng cho các quyết định giúp mọi người và doanh nghiệp trên toàn thế giới phát triển thịnh vượng. Sử dụng các giải pháp của FICO, các doanh nghiệp tại hơn 80 quốc gia thực hiện mọi thứ từ bảo vệ bốn tỷ thẻ thanh toán tránh khỏi việc gian lận, đến cải thiện khả năng hòa nhập tài chính và tăng khả năng phục hồi của chuỗi cung ứng. Là một công ty hàng đầu thế giới về chấm điểm tín dụng và phân tích, FICO xử lý khối lượng lớn dữ liệu tài chính nhạy cảm thông qua Managed File Transfers (MFT), giúp khả năng chuyển tệp an toàn và hiệu quả trở nên quan trọng đối với hoạt động của họ.

Các giải pháp MFT thực sự mở rộng ra ngoài chức năng tải lên và tải xuống tệp cơ bản, đóng vai trò là các thành phần thiết yếu để xử lý dữ liệu trên nhiều ứng dụng. Tuy nhiên, các triển khai MFT truyền thống đòi hỏi cơ sở hạ tầng đáng kể. Điều này bao gồm máy chủ SFTP, cơ sở dữ liệu, phiên bản proxy và các nút thực thi Logic kinh doanh, dẫn đến chi phí vận hành cố định cao bất kể mức sử dụng thực tế. Giống như nhiều doanh nghiệp đang phải đối mặt với những thách thức này, hành trình của FICO với MFT đã phát triển từ các giải pháp thương mại thông thường và các hệ thống được xây dựng tùy chỉnh sang một phương pháp tiếp cận hiện đại, thuần đám mây, gốc đám mây. Sự chuyển đổi này đã dẫn FICO đến việc phát triển một giải pháp MFT dựa trên đám mây mới với AWS Transfer Family giúp loại bỏ các hạn chế về khả năng mở rộng và chi phí cấp phép đồng thời hỗ trợ hiệu quả và khả năng mở rộng của Nền tảng FICO.

Trong bài đăng này, chúng tôi khám phá cách FICO giải quyết các thách thức về bảo mật chuyển giao bên ngoài, quản trị dữ liệu và mở rộng tài nguyên thông qua kiến ​​trúc không máy chủ giúp loại bỏ các hạn chế về cơ sở hạ tầng MFT truyền thống. Giải pháp chứng minh cách Transfer Family, được hỗ trợ bởi các thành phần kiến ​​trúc không máy chủ khác, có thể chuyển đổi các hệ thống chuyển tập tin cũ thành một nền tảng hiện đại, tiết kiệm chi phí, tự động xử lý các tập tin dựa trên các quy tắc kinh doanh có thể cấu hình, đồng thời cung cấp tính linh hoạt để xử lý cả quy trình làm việc trực tiếp và phức tạp trên toàn bộ hoạt động toàn cầu.

Thách thức của giải pháp MFT cũ

Khả năng truyền tệp an toàn và hiệu quả là rất quan trọng đối với hoạt động của doanh nghiệp. Tuy nhiên, các giải pháp MFT truyền thống ngày càng trở thành nút thắt cổ chai thay vì là công cụ hỗ trợ. Hành trình của FICO cũng là câu chuyện chung của nhiều tổ chức: cơ sở hạ tầng MFT cũ, dù đã hoạt động đáng tin cậy trong nhiều năm, vẫn gặp nhiều khó khăn trong việc đáp ứng nhu cầu của hoạt động kinh doanh kỹ thuật số hiện đại. Các thách thức sau đây liên quan đến giải pháp MFT cũ:

• Chi phí hoạt động cố định cao:
  • Các giải pháp MFT truyền thống cần có cơ sở hạ tầng liên tục hoạt động như máy chủ SFTP, cơ sở dữ liệu, phiên bản proxy và nút thực thi.
  • Các hệ thống này phát sinh chi phí vận hành cố định lớn bất kể mức sử dụng thực tế, khiến chúng không hiệu quả về mặt tài chính trong thời gian sử dụng thấp.
• Khả năng mở rộng và hạn chế cấp phép:
  • Việc mở rộng cơ sở hạ tầng truyền thống đòi hỏi phải cấp phép và cung cấp tài nguyên thủ công, do đó làm tăng chi phí và rủi ro hoạt động.
  • Việc mở rộng tài nguyên cơ sở hạ tầng và sửa đổi hệ thống rất tốn thời gian và cơ sở hạ tầng không thể thích ứng hiệu quả với nhu cầu khối lượng công việc khác nhau.
• Quản lý cơ sở hạ tầng phức hợp:
  • Hệ thống MFT cũ đòi hỏi phải bảo trì nhiều thành phần và hệ thống, đòi hỏi phải có nguồn lực chuyên dụng để quản lý liên tục.
  • Các hoạt động thường xuyên thường phải can thiệp thủ công, khiến hệ thống tốn nhiều nhân công và dễ xảy ra lỗi của con người.

Các yêu cầu bổ sung

FICO cần một giải pháp mạnh mẽ để giải quyết vấn đề tích hợp giữa AWS Transfer Family Connectors và AWS Step Functions, vì không có tích hợp trực tiếp nào khả dụng giữa các dịch vụ này tại thời điểm viết bài. Hệ thống cần duy trì trạng thái quy trình công việc và theo dõi các lần chuyển dữ liệu một cách đáng tin cậy trong khi vẫn đảm bảo giao tiếp liền mạch giữa các thành phần. Điều này đòi hỏi một cơ chế để lưu trữ mã thông báo tác vụ, khởi tạo các lần chuyển dữ liệu và giám sát các sự kiện để cập nhật trạng thái quy trình công việc một cách hiệu quả. AWS gần đây đã công bố trạng thái chuyển dữ liệu, khả năng truy vấn trạng thái chuyển dữ liệu trực tiếp từ Step Functions. Trong tương lai, tích hợp dịch vụ giữa các trình kết nối AWS và Step Functions có thể được sắp xếp hợp lý bằng cách thăm dò trực tiếp trạng thái chuyển dữ liệu để giao tiếp giữa các thành phần. Hội thảo MFT cung cấp hướng dẫn về cách xây dựng loại giải pháp này.

Chuẩn hóa quản lý cấu hình : Một phương pháp chuẩn hóa để quản lý cấu hình MFT trên toàn doanh nghiệp là điều cần thiết. Yêu cầu này đòi hỏi việc triển khai một REST API có khả năng xử lý cả việc quản lý người dùng lẫn cấu hình, thông qua cơ chế tích hợp dưới dạng proxy của AWS Lambda. Hệ thống cần lưu trữ cấu hình một cách đáng tin cậy trong khi vẫn cung cấp khả năng tích hợp liền mạch với các công cụ Tích hợp liên tục và Phân phối/Triển khai liên tục (CI/CD) hiện có của FICO, đảm bảo các quy trình triển khai và quản lý nhất quán.

Tự động triển khai toàn cầu : Để giải quyết tính phức tạp của các triển khai toàn cầu, FICO cần một giải pháp tự động hóa cơ sở hạ tầng có khả năng quản lý hơn 145 tài nguyên AWS thông qua mã. Yêu cầu này chỉ rõ khả năng triển khai đến các vùng mới với những thay đổi cấu hình tối thiểu trong khi vẫn duy trì tính nhất quán của cơ sở hạ tầng. Giải pháp cần hỗ trợ các bản cập nhật cấp thành phần và đảm bảo quản lý trạng thái đáng tin cậy trên nhiều vùng.

Theo dõi sử dụng và phân bổ chi phí : Trong môi trường MFT đa thuê bao, FICO cần theo dõi chính xác việc sử dụng tài nguyên của khách hàng, các ứng dụng riêng biệt cho mỗi phiên bản MFT và gắn thẻ tài nguyên toàn diện. Hệ thống cần theo dõi các số liệu chi tiết như sử dụng băng thông, chuyển đổi Step Functions, thực thi Lambda và mức tiêu thụ lưu trữ, tích hợp với cả bảng kiểm toán Amazon DynamoDB và Splunk thông qua đăng ký Amazon CloudWatch

Tổng quan về giải pháp

FICO đã phát triển một giải pháp MFT với Transfer Family để giải quyết các thách thức chính trong bảo mật truyền dữ liệu bên ngoài, quản trị dữ liệu, tự động hóa ETL và mở rộng tài nguyên. Kiến trúc sử dụng Transfer Family để quản lý các điểm cuối SFTP, đồng thời sử dụng Amazon S3 và Amazon Elastic Block Store (Amazon EBS) làm giải pháp lưu trữ hiệu quả. Giải pháp này điều phối logic kinh doanh và các quy trình ETL thông qua Step Functions, với Lambda xử lý các quy trình chạy ngắn và AWS Fargate quản lý các tác vụ chạy dài. Các kết nối Transfer Family cho phép thực hiện các thao tác file với bên ngoài một cách liền mạch, trong khi cơ sở hạ tầng được hỗ trợ bởi DynamoDB để cấu hình và ghi nhật ký, Amazon API Gateway cho các giao diện RESTful và CloudWatch để giám sát toàn diện. Bảo mật được duy trì thông qua AWS Secrets Manager để quản lý thông tin xác thực an toàn. Việc tích hợp các công nghệ không máy chủ này vào một kiến ​​trúc hợp nhất cho phép FICO tạo ra một giải pháp MFT gốc đám mây an toàn, tiết kiệm chi phí, có tính khả dụng cao và có khả năng mở rộng, giải quyết hiệu quả các thách thức MFT truyền thống trong khi vẫn đáp ứng các nhu cầu hoạt động hiện đại.

Kiến trúc giải pháp MFT bao gồm ba lớp:

1. Lớp chuyển tập tin
   • Transfer Family quản lý các điểm cuối SFTP
   • Amazon S3 cung cấp khả năng lưu trữ tệp và đối tượng bền vững
   • Đảm bảo truyền và lưu trữ dữ liệu an toàn
   • Truyền file ra bên ngoài thông qua Transfer Family Connectors
2. Lớp điều phối xử lý

• Sự kiện Amazon S3 kích hoạt phát hiện tệp
• Hàng đợi Amazon Simple Queue Service (Amazon SQS ) quản lý các yêu cầu xử lý
• AWS Step Functions điều phối các luồng công việc ETL
• DynamoDB lưu trữ dữ liệu cấu hình

3. Lớp thực thi
   • Lambda xử lý các tác vụ yêu cầu độ trễ thấp.
   • Fargate xử lý các hoạt động tính toán chuyên sâu như:
     • Mã hóa/giải mã PGP
     • Nén tập tin

Sơ đồ sau đây cho thấy thiết kế logic và tổng quan.

Quy trình xử lý và chuyển tập tin

Người dùng bên ngoài kết nối an toàn thông qua Transfer Family, cung cấp các điểm cuối SFTP được ánh xạ tới các thùng S3 được chỉ định. Ánh xạ này đảm bảo rằng người dùng chỉ truy cập vào các thư mục được ủy quyền của họ.

Khi các tệp được tải lên Amazon S3, dịch vụ sẽ tự động tạo các sự kiện được ghi nhận và định tuyến đến các hàng đợi SQS tại từng khu vực. Kiến trúc hướng sự kiện này đảm bảo xử lý tin nhắn đáng tin cậy và cho phép xử lý không đồng bộ các tệp đã tải lên trên các khu vực khác nhau. Step Functions đọc các tin nhắn sự kiện và tham khảo các bảng DynamoDB để xác định quy trình làm việc ETL phù hợp được xác định cho tệp và tiền tố Amazon S3 (vị trí đích).

Nếu có tác vụ ETL được xác định, thì State Machine sẽ chờ tín hiệu phản hồi xác nhận thành công từ hàm Lambda cho các hoạt động nhanh (trong giới hạn thời gian lambda) hoặc Fargate cho các tác vụ chạy lâu hơn. Phương pháp tiếp cận kép này tối ưu hóa chi phí và hiệu suất trong khi xử lý nhiều hoạt động khác nhau như mã hóa/giải mã PGP, nén và các hành động/tác vụ khác.

Khi tác vụ ETL được khởi tạo, State Machine sẽ chờ phản hồi từ hàm Lambda hoặc tác vụ Fargate để chỉ ra thành công trước khi xóa các tác vụ đã hoàn thành khỏi danh sách các hành động đang chờ xử lý và tiếp tục đến chuỗi tiếp theo.

Trong trường hợp lệnh đẩy SFTP bên ngoài được xác định, hàm Lambda sẽ kích hoạt Transfer Family Connector để bắt đầu chuyển dữ liệu bằng cách sử dụng tệp đã truyền/hiện tại, máy chủ và cổng SFTP được xác định và xác thực được xác định trong Connector.

Sơ đồ sau đây hiển thị sơ đồ thiết kế giải pháp với luồng xử lý sử dụng dịch vụ AWS.

Kết quả và lợi ích

Nhờ xây dựng giải pháp MFT này, FICO đã đạt được những tác động kinh doanh sau đây:

• Cải thiện khả năng tích hợp dịch vụ: Việc triển khai giải pháp Dual-Lambda với quản lý trạng thái DynamoDB đã giải quyết thành công vấn đề tích hợp giữa AWS Connectors và Step Functions. Phương pháp này đảm bảo theo dõi chuyển giao đáng tin cậy trong khi vẫn duy trì trạng thái quy trình làm việc. Khả năng lưu trữ TaskTokens, khởi tạo chuyển giao và giám sát các sự kiện CloudWatch để cập nhật quy trình làm việc của giải pháp đã tạo ra một hệ thống chuyển giao tệp mạnh mẽ và đáng tin cậy, duy trì trạng thái quy trình làm việc nhất quán trong suốt quá trình. Có một cơ hội để hợp lý hóa kiến ​​trúc hơn nữa bằng cách theo dõi trực tiếp trạng thái chuyển giao từ Step Functions bằng khả năng truy vấn trạng thái mới do các kết nối SFTP cung cấp.
• Tinh gọn quy trình quản lý cấu hình: Việc triển khai REST API sử dụng API Gateway và tích hợp proxy Lambda đã chuyển đổi quản lý cấu hình MFT. Phương pháp chuẩn hóa này cung cấp giao diện quản trị thống nhất tích hợp liền mạch với các công cụ CI/CD nội bộ của FICO. Việc sử dụng DynamoDB làm kho lưu trữ cấu hình đảm bảo quản lý cấu hình đáng tin cậy và nhất quán trên tất cả các lần triển khai, giúp giảm đáng kể độ phức tạp của quản trị và cải thiện độ tin cậy của hệ thống.
• Tối ưu hóa việc quản lý hạ tầng toàn cầu: Việc triển khai Terraform để tự động hóa cơ sở hạ tầng của giải pháp đã cho phép quản lý thành công hơn 145 tài nguyên AWS thông qua mã. Tự động hóa này tạo điều kiện triển khai nhanh chóng các vùng mới với các thay đổi cấu hình tối thiểu, đảm bảo tính nhất quán của cơ sở hạ tầng trong khi hỗ trợ các bản cập nhật cấp thành phần. Phương pháp tiếp cận dựa trên trạng thái đã giảm đáng kể chi phí vận hành trong các triển khai đa vùng và cải thiện hiệu quả quản lý cơ sở hạ tầng tổng thể.
• Xây dựng hệ thống phân bổ chi phí chính xác: Việc triển khai AWS myApplications đã cho phép phân tách ứng dụng riêng biệt cho mỗi phiên bản MFT, tạo điều kiện cho việc phân bổ chi phí nền tảng thông qua cơ chế gắn thẻ tài nguyên của AWS. Giải pháp cung cấp khả năng theo dõi toàn diện các số liệu cụ thể của khách hàng thông qua các bảng kiểm tra DynamoDB và tích hợp Splunk thông qua đăng ký CloudWatch. Hệ thống theo dõi chi tiết này bao gồm việc sử dụng băng thông, chuyển đổi Step Functions, thực thi Lambda và mức tiêu thụ lưu trữ, cho phép phân bổ chi phí chính xác trong môi trường đa khách hàng (multi-tenant).
• Nâng cao hiệu quả hoạt động: Giải pháp MFT hiện đại đã đạt được những cải tiến đáng kể về hiệu quả hoạt động, giảm thời gian triển khai môi trường mới từ nhiều tuần xuống chỉ còn vài phút. Kiến trúc không máy chủ đã loại bỏ nhu cầu bảo trì cơ sở hạ tầng truyền thống đồng thời tăng cường khả năng mở rộng và giảm chi phí hoạt động. Các tác vụ quản trị và vận hành tự động của giải pháp trong AWS đã mang lại hiệu quả đáng kể trong các quy trình tích hợp tệp, hỗ trợ hàng trăm đối tác kinh doanh bên ngoài và nguồn dữ liệu nội bộ.

Phần kết luận

Việc FICO chuyển đổi cơ sở hạ tầng MFT cũ của họ thành một giải pháp hiện đại, gốc đám mây đại diện cho một thành tựu đáng kể trong quá trình hiện đại hóa truyền tệp doanh nghiệp. Sử dụng AWS Transfer Family làm **nền tảng cốt lõi**, kết hợp với các thành phần serverless bao gồm AWS Lambda, AWS Step Functions và AWS Fargate, cho phép FICO tạo thành công một giải pháp mạnh mẽ, có khả năng mở rộng để xử lý các quy trình truyền tệp phức tạp trên toàn bộ hoạt động toàn cầu.

Việc triển khai đã mang lại những lợi ích đáng kể trên nhiều phương diện, đáng chú ý nhất là giảm thời gian triển khai từ nhiều tuần xuống còn vài phút và loại bỏ chi phí cơ sở hạ tầng cố định. Giải pháp hiện quản lý thành công hơn 145 tài nguyên AWS thông qua mã, tạo điều kiện tích hợp liền mạch với các đối tác kinh doanh bên ngoài trong khi vẫn duy trì phân bổ chi phí chính xác trong môi trường nhiều bên thuê của họ.

Để tìm hiểu thêm, hãy truy cập AWS Transfer Family Managed File Transfer .

Về tác giả

Ryan Anderson

Ryan Anderson là Kỹ sư cao cấp và Nhà thiết kế phần mềm với hơn 25 năm kinh nghiệm trong lĩnh vực CNTT. Tại FICO, ông hỗ trợ nhóm kỹ thuật toàn cầu, thúc đẩy các giải pháp khách hàng trên nền tảng đám mây với trọng tâm về kết nối và bảo mật. Hiện tại, ông tập trung xây dựng nền tảng thế hệ mới dựa trên điện toán serverless và điện toán đám mây, nhằm hợp nhất, cải tiến ứng dụng hiện có hoặc di chuyển dịch vụ on-premises lên cloud. Ngoài công việc, Ryan thích dành thời gian cho gia đình, chơi game, xem phim, boardgame và đọc sách.

Alok Rathi

Alok Rathi là Kỹ sư cao cấp tại FICO, thuộc nhóm Năng lực Nền tảng, tập trung vào mạng AWS, truyền dữ liệu và các giải pháp đám mây có khả năng mở rộng. Với hơn 10 năm kinh nghiệm trong nhiều vai trò công nghệ, anh đam mê tự động hóa, công nghệ serverless và xây dựng các giải pháp cloud-native mở rộng. Ngoài công việc, Alok yêu thích đạp xe và lắp ráp các mô hình LEGO phức tạp.

Vivek Bhargava

Vivek Bhargava là Quản lý kỹ thuật tài khoản đám mây cao cấp, với hơn 17 năm kinh nghiệm trong nhiều lĩnh vực công nghiệp khác nhau. Chuyên về mạng và bảo mật mạng, ông tận dụng chuyên môn của mình để hướng dẫn các tổ chức trong hành trình chuyển đổi số. Làm việc ở giao điểm giữa công nghệ và kinh doanh, Vivek hợp tác chặt chẽ với doanh nghiệp để điều phối di trú lên cloud, thúc đẩy hiện đại hóa và khuyến khích đổi mới.

Josh Baverstock

Josh Baverstock là Kiến trúc sư giải pháp toàn cầu cao cấp tại AWS, hiện làm việc tại Los Angeles, California. Ông có 25 năm kinh nghiệm trong các vai trò tương tự và yêu thích việc hỗ trợ khách hàng về Containers, Kỹ thuật nền tảng và gần đây là GenAI.

Vinamra Jain

Vinamra Jain là Quản lý sản phẩm cao cấp tại AWS. Anh hiện tập trung vào việc xây dựng nền tảng Managed File Transfer thế hệ mới trên AWS Cloud, giúp khách hàng hiện đại hóa, di chuyển các ứng dụng truyền tải tệp lên AWS và khai thác nhiều giá trị hơn từ dữ liệu. Ngoài công việc, Vinamra thích leo núi, đọc sách và thử sức với các môn thể thao mới.