Tác giả: Mahima Chaudhary, Anupam Dewan, và Swapneil Singh
Ngày phát hành: 18 MAR 2026
Chuyên mục: Amazon Nova, Artificial Intelligence

Các mô hình ngôn ngữ lớn (LLM) đã thay đổi cách chúng ta tương tác với AI, nhưng một kích thước không thể phù hợp với tất cả. Các LLM có sẵn được đào tạo với kiến thức rộng, tổng quát và được cải thiện cho nhiều trường hợp sử dụng, nhưng chúng thường không đáp ứng được khi nói đến các tác vụ chuyên biệt theo miền, quy trình làm việc độc quyền hoặc các yêu cầu kinh doanh độc đáo. Khách hàng doanh nghiệp ngày càng cần các LLM chuyên biệt hiểu sâu dữ liệu độc quyền, quy trình kinh doanh và thuật ngữ chuyên biệt theo miền của họ. Nếu không có tùy chỉnh, bạn buộc phải chọn giữa việc chấp nhận các phản hồi chung chung hoặc chấp nhận một giải pháp trung gian với kỹ thuật ngữ cảnh quá mức. Nova Customization cung cấp một bộ tính năng, từ các tùy chọn tùy chỉnh của Amazon Bedrock như Supervised Fine-Tuning (SFT) và Reinforcement Fine Tuning (RFT) đến các khả năng tùy chỉnh của Amazon SageMaker AI, bao gồm SFT, Direct Preference Optimization (DPO), RFT, cùng với tùy chỉnh dựa trên LoRA và full rank.

Khi các mô hình được tinh chỉnh trên các tập dữ liệu chuyên biệt, chúng thường mất đi một số khả năng cơ bản bao gồm khả năng tuân thủ hướng dẫn, kỹ năng suy luận và kiến thức rộng, hiện tượng này còn được gọi là quên thảm khốc. Amazon Nova Forge cung cấp một công cụ để khắc phục sự đánh đổi này bằng cách cho phép bạn xây dựng các mô hình tiên phong của riêng mình bằng cách sử dụng Nova. Khách hàng của Nova Forge có thể bắt đầu phát triển từ các điểm kiểm tra mô hình ban đầu, kết hợp các tập dữ liệu của họ với các tập dữ liệu được Amazon Nova tuyển chọn và lưu trữ các mô hình tùy chỉnh của họ một cách an toàn trên AWS. Đôi khi các quy trình tùy chỉnh này có thể trở nên phức tạp và đòi hỏi thiết lập kỹ thuật, cơ sở hạ tầng và đầu tư thời gian đáng kể, tạo ra rào cản gia nhập cao.

Để khắc phục vấn đề này, chúng tôi đang ra mắt Nova Forge SDK giúp việc tùy chỉnh LLM trở nên dễ tiếp cận, trao quyền cho các nhóm khai thác toàn bộ tiềm năng của các mô hình ngôn ngữ mà không gặp phải những thách thức về quản lý phụ thuộc, lựa chọn hình ảnh và cấu hình công thức, và cuối cùng là giảm rào cản gia nhập. Chúng tôi xem tùy chỉnh là một sự liên tục trong thang đo mở rộng, và do đó, Nova Forge SDK hỗ trợ tất cả các tùy chọn tùy chỉnh, từ Amazon Bedrock cho đến Amazon SageMaker AI bằng cách sử dụng các khả năng của Amazon Nova Forge.

Nova Forge SDK: Được xây dựng chuyên biệt cho nhà phát triển bởi nhà phát triển

Nova Forge SDK cung cấp một bộ công cụ thống nhất được xây dựng chuyên biệt cho khách hàng và nhà phát triển Nova. Nó bao gồm toàn bộ vòng đời tùy chỉnh, cung cấp các giải pháp tại một nơi từ công cụ chuẩn bị dữ liệu, quản lý công việc đào tạo, đến triển khai mô hình. Nova Forge SDK đại diện cho một nỗ lực nhằm loại bỏ gánh nặng không khác biệt khỏi việc tùy chỉnh LLM, để bạn có thể tập trung vào thử nghiệm. Nó bổ sung cho các công cụ hiện có bằng cách cung cấp các quy trình làm việc với các giá trị mặc định thông minh và hướng dẫn, đồng thời vẫn cho phép người dùng nâng cao truy cập toàn bộ sức mạnh của các SDK dịch vụ cơ bản khi cần. Điều này mang lại cho khách hàng cả quy trình làm việc được sắp xếp hợp lý cho các tác vụ phổ biến và sự linh hoạt hoàn toàn cho các trường hợp sử dụng nâng cao.

SDK có thể được hiểu theo ba lớp:

• Lớp đầu vào (Input Layer): Đây là lớp mà bạn truyền vào làm đầu vào, bao gồm đối tượng RuntimeManager (bao gồm phần cứng nào sẽ sử dụng, nền tảng nào sẽ sử dụng và vai trò IAM nào sẽ sử dụng từ góc độ quyền), cùng với phương pháp đào tạo, dữ liệu đào tạo và bất kỳ siêu tham số nào bạn chọn ghi đè, cùng với mô hình được chọn để tùy chỉnh.
• Lớp tùy chỉnh (Customizer Layer): Đây là lớp giữa nhận các đầu vào này và đằng sau hậu trường xây dựng các cấu hình công thức phù hợp và khởi chạy công việc với các giá trị đầu vào đã truyền.
• Lớp đầu ra (Output Layer): Lớp đầu ra phát ra các tạo phẩm đầu ra bao gồm Amazon CloudWatch Logs, số liệu ML Flow, nhật ký bảng tensor cùng với tạo phẩm mô hình đã được đào tạo cuối cùng có thể được sử dụng để tinh chỉnh thêm mô hình bằng cách tinh chỉnh lặp lại hoặc triển khai mô hình trên Amazon SageMaker AI hoặc Amazon Bedrock để suy luận.

Hình ảnh sau đây cho thấy một phân tích cấp cao về các thành phần này.

Người dùng Nova Forge SDK cung cấp một RuntimeManager đã được cấu hình, một mô hình để tùy chỉnh và một phương pháp đào tạo cho một trong các phương thức API trong một NovaModelCustomizer đã được khởi tạo. Việc khởi tạo Customizer bao gồm việc chỉ định vị trí mà từ đó nó có thể truy xuất dữ liệu đào tạo. Đây thường là một vị trí Amazon Simple Storage Service (Amazon S3). Dựa trên các cấu hình này, mô hình Customizer xử lý việc cấu hình và khởi động một công việc Amazon SageMaker AI để thực hiện tác vụ đã chỉ định. Cuối cùng, tác vụ đã hoàn thành tạo ra các tạo phẩm đầu ra và (đối với API “train”) một mô hình đã được đào tạo, mà sau đó bạn có thể tham chiếu thông qua SDK hoặc trực tiếp bằng cách sử dụng các API của Amazon SageMaker.

Điều kiện tiên quyết:

Trước khi bắt đầu quy trình tùy chỉnh, hãy đảm bảo rằng bạn đã thiết lập môi trường của mình như sau. Bài đăng trên blog này sử dụng Amazon SageMaker Training Jobs (SMTJ) làm nền tảng tính toán (bạn không cần cụm Amazon SageMaker HyperPod để làm theo).

Thiết lập Amazon Nova Forge không bắt buộc đối với bài đăng này, vì chúng tôi đang xem xét các tính năng cơ bản có sẵn để tùy chỉnh Nova bằng Amazon SageMaker AI.

Lưu ý: Nếu bạn chỉ quan tâm đến Amazon SageMaker Training Jobs, bạn có thể bỏ qua hoàn toàn thiết lập Amazon SageMaker HyperPod.

Tài khoản AWS và CLI

Bạn sẽ cần một tài khoản AWS. Nếu bạn chưa có, hãy làm theo hướng dẫn đăng ký.

Sau đó, hãy làm theo hướng dẫn để cài đặt AWS Command Line Interface (AWS CLI) và cấu hình nó với thông tin đăng nhập của bạn. Điều này được sử dụng cho các lệnh gọi API ban đầu được sử dụng để thiết lập, và chuỗi thông tin đăng nhập AWS CLI được chia sẻ bởi Nova Forge SDK.

Cuối cùng, hãy làm theo tài liệu công khai để thiết lập quyền truy cập của bạn vào nền tảng SageMaker AI, mà Nova Forge SDK sử dụng để cấp cho bạn quyền truy cập vào các mô hình và khả năng tùy chỉnh của Amazon Nova.

Các vai trò IAM

Bạn phải tạo hai vai trò IAM để làm việc với Nova Forge SDK, đó là vai trò Người dùng (User role) và vai trò Thực thi (Execution role). Nova Forge SDK xác thực cả hai vai trò trong quá trình thực thi để đảm bảo rằng chúng có các quyền tối thiểu cần thiết, tuy nhiên, chúng tôi khuyên bạn nên hoàn thành các bước thiết lập sau:

• Vai trò Người dùng — vai trò bạn đảm nhận trên máy của mình khi chạy SDK và AWS CLI. Vai trò này cần các quyền cho Amazon SageMaker AI (CreateTrainingJob, DescribeTrainingJob), Amazon S3 (đọc/ghi vào bucket dữ liệu của bạn), Amazon CloudWatch Logs (đọc) và IAM (PassRole). Xem tài liệu SDK để biết chính sách đầy đủ.
• Vai trò Thực thi — vai trò mà Amazon SageMaker AI đảm nhận để chạy các công việc đào tạo thay mặt bạn. Chính sách tin cậy của nó phải cho phép sagemaker.amazonaws.com đảm nhận nó. Để biết đầy đủ các quyền được khuyến nghị, hãy xem tài liệu vai trò thực thi SageMaker. Làm theo các điều kiện tiên quyết để chạy các công việc SMTJ để biết hướng dẫn thiết lập chi tiết.

Hạn mức dịch vụ

Bài đăng này sử dụng các phiên bản ml.p5.48xlarge cho cả đào tạo và đánh giá. Nova Lite 2.0 yêu cầu tối thiểu 4 phiên bản để đào tạo SFT; nếu bạn đang chạy các công việc đào tạo và đánh giá đồng thời, bạn có thể cần ít nhất 5 phiên bản.

Yêu cầu hạn mức đủ cho ml.p5.48xlarge để sử dụng công việc đào tạo thông qua bảng điều khiển Hạn mức dịch vụ cho Amazon SageMaker Training Jobs.

S3 Bucket

Tạo một Amazon Simple Storage Service (Amazon S3) bucket trong cùng AWS Region với các công việc đào tạo của bạn (chúng tôi sử dụng us-east-1 trong suốt bài đăng này) và đảm bảo rằng các vai trò IAM người dùng và thực thi của bạn có quyền đọc và ghi vào bucket. Đây là nơi chúng tôi sẽ lưu trữ dữ liệu đào tạo và các tạo phẩm đầu ra cho bài đăng này.

Amazon SageMaker HyperPod (Tùy chọn)

Ngoài Amazon SageMaker Training Jobs (SMTJ), Nova Forge SDK cũng hỗ trợ chạy các công việc trên Amazon SageMaker HyperPod (SMHP). Mặc dù bài đăng này không tập trung vào tùy chỉnh SMHP, nhưng nếu bạn muốn chạy đào tạo trên SMHP, bạn phải thiết lập một cụm Amazon SageMaker HyperPod với Restricted Instance Groups (RIGs) để làm việc với các mô hình Amazon Nova.

Làm theo hướng dẫn trong workshop thiết lập HyperPod RIG để thiết lập một cụm với RIGs phù hợp cho tùy chỉnh Amazon Nova.

Thiết lập Nova Forge SDK

Sau khi bạn hoàn thành các điều kiện tiên quyết, bạn có thể sử dụng hướng dẫn sau để thiết lập môi trường của mình để bắt đầu sử dụng Nova Forge SDK.

Môi trường Python

Nova Forge SDK yêu cầu Python 3.12 trở lên. Chúng tôi khuyên bạn nên tạo một môi trường ảo để cô lập các phụ thuộc và tránh xung đột với các gói khác trong hệ thống của bạn:

python3.12 -m venv nova-sdk-env
source nova-sdk-env/bin/activate # On Windows: nova-sdk-env\Scripts\activate

Cài đặt SDK

Bạn có thể cài đặt SDK bằng lệnh Pip sau:

pip install amzn-nova-forge

Xác minh cài đặt bằng cách nhập các mô-đun chính trong một tệp Python mẫu:

from amzn_nova_forge import (
NovaModelCustomizer,
SMTJRuntimeManager,
TrainingMethod,
EvaluationTask,
CSVDatasetLoader,
Model,
)

Sau đây là mô tả ngắn gọn về từng mô-đun này:

• NovaModelCustomizer: Lớp chính để tương tác với Nova Forge SDK. Nó chứa các phương thức cốt lõi cho API và được sử dụng để khởi tạo phần lớn cấu hình đào tạo.
• SMTJRuntimeManager: Quản lý cơ sở hạ tầng AWS cần thiết cho tùy chỉnh SMTJ, chẳng hạn như loại phiên bản và số lượng phiên bản được chọn cho một công việc tùy chỉnh.
• TrainingMethod: Một Enum của các loại đào tạo có thể có, có thể được sử dụng để cấu hình NovaModelCustomizer.
• EvaluationTask: Một Enum của các loại đánh giá có thể có, có thể được sử dụng để cấu hình NovaModelCustomizer.
• CSVDatasetLoader: Được sử dụng để tải dữ liệu từ các tệp CSV để sử dụng trong Nova Forge SDK.
• Model: Một Enum của các mô hình Amazon Nova được Nova Forge SDK hỗ trợ.

Lưu ý: Để biết thêm thông tin về các chức năng khác nhau của SDK, hãy xem tài liệu đặc tả. Nếu bạn sử dụng một tác nhân LLM cho công việc mã hóa, bạn có thể yêu cầu nó xem lại tệp AGENTS.md trong kho lưu trữ để tìm hiểu về SDK.

Kết luận

Giao diện thống nhất của SDK trừu tượng hóa sự phức tạp của định dạng dữ liệu và cấu hình dành riêng cho nền tảng để các nhà phát triển có thể tập trung vào những gì quan trọng: dữ liệu của họ, miền của họ và mục tiêu kinh doanh của họ. Cho dù bạn bắt đầu với việc tinh chỉnh trên Amazon SageMaker Training Jobs hay có kế hoạch chạy tùy chỉnh với Amazon SageMaker Hyperpod, SDK đều cung cấp trải nghiệm nhất quán trên toàn bộ chuỗi tùy chỉnh.

Bằng cách loại bỏ các rào cản truyền thống đối với tùy chỉnh LLM, các yêu cầu về chuyên môn kỹ thuật và đầu tư thời gian, Nova Forge SDK trao quyền cho các tổ chức xây dựng các mô hình thực sự hiểu ngữ cảnh độc đáo của họ mà không phải hy sinh các khả năng chung làm cho các mô hình nền tảng trở nên có giá trị. SDK xử lý việc cấu hình tài nguyên tính toán, điều phối toàn bộ quy trình tùy chỉnh, giám sát các công việc đào tạo và triển khai các điểm cuối. Kết quả là AI doanh nghiệp vừa chuyên biệt vừa thông minh, vừa là chuyên gia miền vừa có khả năng rộng.

Bạn đã sẵn sàng tùy chỉnh các mô hình Nova của riêng mình chưa? Bắt đầu với Nova Forge SDK trên GitHub và khám phá tài liệu đầy đủ để bắt đầu xây dựng các mô hình phù hợp với nhu cầu doanh nghiệp của bạn.

Về tác giả

Mahima Chaudhary

Mahima Chaudhary là Kỹ sư Học máy trong nhóm Amazon Nova Training Experience, nơi cô làm việc trên Nova Forge SDK và Reinforcement Fine-Tuning (RFT), giúp khách hàng tùy chỉnh và tinh chỉnh các mô hình Nova trên AWS. Cô mang đến chuyên môn về MLOps và LLMOps, với thành tích xây dựng các hệ thống ML cấp sản xuất, có khả năng mở rộng trong các lĩnh vực hàng không, chăm sóc sức khỏe, bảo hiểm và tài chính trước khi làm việc tại Amazon. Sống ở California, khi không bận rộn với các mô hình, bạn sẽ thấy cô ấy đuổi theo hoàng hôn trên một con đường mòn đi bộ mới, thử nghiệm trong bếp hoặc đắm mình trong một bộ phim tài liệu.

Anupam Dewan

Anupam Dewan là Kiến trúc sư Giải pháp cấp cao làm việc trong nhóm Amazon Nova với niềm đam mê AI tạo sinh và các ứng dụng thực tế của nó. Anh tập trung vào tùy chỉnh Nova và Nova Forge, giúp các doanh nghiệp nhận ra tiềm năng thực sự của LLM với sức mạnh của tùy chỉnh. Anh cũng đam mê giảng dạy khoa học dữ liệu và phân tích, đồng thời giúp các doanh nghiệp xây dựng các LLM hoạt động hiệu quả cho hoạt động kinh doanh của họ. Ngoài công việc, bạn có thể thấy anh ấy đi bộ đường dài, tình nguyện hoặc tận hưởng thiên nhiên.

Swapneil Singh

Swapneil Singh là Kỹ sư Phát triển Phần mềm trong nhóm Amazon Nova Training Experience, nơi anh xây dựng các công cụ dành cho nhà phát triển để tùy chỉnh mô hình Amazon Nova. Anh là người đóng góp cốt lõi cho Nova Forge SDK và Hướng dẫn sử dụng Amazon Nova, giúp khách hàng tinh chỉnh và triển khai các mô hình Nova tùy chỉnh trên AWS. Trước đây, anh đã làm việc về đo từ xa và xử lý nhật ký trong AWS Elastic Container Services. Ngoài công việc, bạn có thể thấy anh ấy mày mò với các dàn xếp AI và ngôn ngữ lập trình, hoặc trong thư viện Boston.