bởi Tiến sĩ Markus Bestehorn, David Abekasis, Ion Kleopas và Miron Perel | ngày 14 tháng 12 năm 2023 |

Là một bài đăng do cả ICL và nhân viên của AWS chung viết.

ICL là một tập đoàn sản xuất và khai thác quốc tế có trụ sở tại Israel, chuyên sản xuất các sản phẩm dựa trên khoáng sản độc đáo và đáp ứng các nhu cầu thiết yếu của con người, chủ yếu ở ba thị trường: nông nghiệp, thực phẩm và vật liệu kỹ thuật. Các địa điểm khai thác của họ sử dụng các thiết bị công nghiệp phải được giám sát vì sự cố máy móc có thể dẫn đến mất lợi nhuận hoặc thậm chí là thiệt hại môi trường. Do điều kiện cực kỳ khắc nghiệt (nhiệt độ thấp và cao, rung động, nước mặn, bụi bẩn), việc gắn cảm biến vào những máy khai thác này để giám sát từ xa là khó khăn. Do đó, hầu hết các máy đều được theo dõi liên tục bằng cách thủ công hoặc bằng cách nhìn thấy liên tục bởi công nhân tại hiện trường. Những người này thường xuyên kiểm tra hình ảnh từ camera để giám sát tình trạng của máy. Mặc dù phương pháp này đã hoạt động trong quá khứ, nhưng nó không có khả năng mở rộng và gây chi phí tương đối cao.

Để vượt qua thách thức kinh doanh này, ICL quyết định phát triển khả năng nội bộ để sử dụng học máy (ML) cho thị giác máy tính (CV) để giám sát tự động máy khai thác của họ. Là một công ty khai thác truyền thống, việc có nguồn lực nội bộ với kỹ năng khoa học dữ liệu, CV hoặc ML là hạn chế.

Trong bài viết này, chúng tôi sẽ thảo luận về các điểm sau:

• Làm thế nào ICL đã phát triển khả năng nội bộ để xây dựng và duy trì các giải pháp CV cho phép giám sát tự động của máy khai thác để cải thiện hiệu suất và giảm lãng phí
• Một cái nhìn sâu vào giải pháp cho máy sàng khai thác đã được phát triển với sự hỗ trợ của chương trình Prototyping của AWS

Sử dụng phương pháp được mô tả trong bài viết này, ICL đã có thể phát triển một khung trên AWS sử dụng Amazon SageMaker để xây dựng các trường hợp sử dụng khác dựa trên thị giác được trích xuất từ khoảng 30 camera, với tiềm năng mở rộng lên đến hàng nghìn camera trên các địa điểm sản xuất của họ.

Xây dựng khả năng nội bộ thông qua AWS Prototyping

Xây dựng và duy trì các giải pháp Máy học (ML) cho các công việc quan trọng của doanh nghiệp đòi hỏi đội ngũ nhân viên có kỹ năng đủ. Việc outsourcing những hoạt động như vậy thường không khả thi vì cần phải kết hợp kiến thức nội bộ về quy trình kinh doanh với việc xây dựng giải pháp kỹ thuật. Do đó, ICL đã tiếp cận AWS để được hỗ trợ trong hành trình xây dựng một giải pháp Thị giác máy tính (CV) để giám sát các thiết bị khai thác khoáng sản của họ và đạt được những kỹ năng cần thiết.

AWS Prototyping là chương trình đầu tư trong đó AWS tích hợp các chuyên gia vào đội ngũ phát triển của khách hàng để xây dựng các trường hợp sử dụng quan trọng cho doanh nghiệp. Trong suốt quá trình tham gia này, đội ngũ phát triển của khách hàng được làm quen với các công nghệ cơ bản của AWS trong khi xây dựng trường hợp sử dụng trong khoảng 3-6 tuần và nhận sự hỗ trợ thực tế. Ngoài một trường hợp sử dụng tương ứng, tất cả những gì khách hàng cần là 3-7 nhà phát triển có thể dành hơn 80% thời gian làm việc của họ để xây dựng trường hợp sử dụng được nêu trên. Trong thời gian này, các chuyên gia AWS được giao đầy đủ cho đội ngũ của khách hàng và cộng tác với họ từ xa hoặc tại chỗ.

Mặc dù việc thử nghiệm tập trung vào một loại máy duy nhất, phương pháp chung để sử dụng camera và xử lý tự động hình ảnh của chúng bằng CV có thể áp dụng cho một loạt rộng rãi các thiết bị khai thác mỏ. Điều này cho phép ICL áp dụng kiến thức đạt được trong suốt quá trình thử nghiệm tập trung vào các địa điểm, loại camera và máy khác nhau, cũng như duy trì các mô hình ML mà không cần sự hỗ trợ từ bất kỳ bên thứ ba nào.

Trong suốt quá trình hợp tác, các chuyên gia AWS và nhóm phát triển của ICL gặp nhau mỗi ngày và phát triển giải pháp bước từng bước. Các nhà khoa học dữ liệu của ICL có thể làm việc độc lập trên các nhiệm vụ được giao hoặc nhận sự hỗ trợ trực tiếp, làm việc chung từ các chuyên gia ML của AWS. Phương pháp này đảm bảo rằng các nhà khoa học dữ liệu của ICL không chỉ có kinh nghiệm trong việc phát triển các mô hình ML theo cách hệ thống bằng cách sử dụng SageMaker, mà còn nhúng những mô hình này vào các ứng dụng cũng như tự động hóa toàn bộ vòng đời của các mô hình đó, bao gồm việc huấn luyện lại hoặc giám sát mô hình tự động. Sau 4 tuần hợp tác, ICL đã có thể triển khai mô hình này vào sản xuất mà không cần sự hỗ trợ thêm trong vòng 8 tuần và đã xây dựng các mô hình cho các trường hợp sử dụng khác kể từ đó. Phương pháp kỹ thuật của cuộc hợp tác này được mô tả trong phần tiếp theo.

Giám sát trình sàng lọc khai thác bằng mô hình CV với SageMaker

SageMaker là một nền tảng quản lý đầy đủ vòng đời của một mô hình ML: nó cung cấp dịch vụ và tính năng hỗ trợ các nhóm làm việc trên các mô hình ML từ việc gán nhãn dữ liệu trong Amazon SageMaker Ground Truth đến việc huấn luyện và tối ưu hóa mô hình, cũng như triển khai mô hình ML để sử dụng trong sản xuất. Trước khi bắt đầu hợp tác, ICL đã lắp đặt camera và có được hình ảnh như được hiển thị trong các hình ảnh trước đó (hình ảnh ở bên trái cùng) và lưu trữ chúng trong một ngăn xếp đơn giản của dịch vụ lưu trữ (Amazon S3). Trước khi có thể huấn luyện các mô hình, việc tạo dữ liệu huấn luyện là cần thiết. Đội ngũ chung ICL-AWS đã giải quyết vấn đề này trong ba bước:

1. Gán nhãn dữ liệu bằng cách sử dụng công việc gán nhãn phân đoạn ngữ cảnh trong SageMaker Ground Truth, như được hiển thị trong hình ảnh dưới đây.
2. Tiền xử lý hình ảnh đã được gán nhãn bằng các kỹ thuật tăng cường hình ảnh để tăng số lượng mẫu dữ liệu.
3. Chia hình ảnh đã được gán nhãn thành các tập huấn luyện, kiểm tra và xác thực, để có thể đo lường hiệu suất và độ chính xác của mô hình một cách đầy đủ trong quá trình huấn luyện.

Để đạt được quy mô sản xuất cho các khối công việc ML, việc tự động hóa các bước này là quan trọng để duy trì chất lượng đầu vào huấn luyện. Do đó, mỗi khi có hình ảnh mới được gán nhãn bằng SageMaker Ground Truth, các bước tiền xử lý và chia tách được chạy tự động và các bộ dữ liệu kết quả được lưu trữ trong Amazon S3, như được hiển thị trong quy trình huấn luyện mô hình trong biểu đồ dưới đây. Tương tự, quy trình triển khai mô hình sử dụng tài sản từ SageMaker để cập nhật các điểm cuối tự động mỗi khi có một mô hình cập nhật.

ICL đang sử dụng nhiều phương pháp để triển khai các mô hình ML vào sản xuất. Một số phương pháp liên quan đến nền tảng trí tuệ nhân tạo hiện tại của họ có tên là KNIME, cho phép họ triển khai nhanh chóng các mô hình được phát triển trong môi trường phát triển vào sản xuất bằng cách công nghiệp hóa chúng thành các sản phẩm. Nhiều sự kết hợp giữa việc sử dụng KNIME và các dịch vụ AWS đã được phân tích; kiến trúc trước đó là phù hợp nhất với môi trường của ICL.

Thuật toán tích hợp sẵn của SageMaker cho phân đoạn ngữ nghĩa được sử dụng để huấn luyện mô hình cho phân đoạn khu vực màn hình. Bằng cách chọn thuật toán tích hợp sẵn này thay vì sử dụng một container tự xây dựng, ICL không cần xử lý công việc nặng không phân biệt được của việc duy trì một Mạng Nơ-ron Tích chập (CNN) trong khi vẫn có thể sử dụng một CNN cho trường hợp sử dụng của họ. Sau khi thử nghiệm với các cấu hình và tham số khác nhau, ICL đã sử dụng một thuật toán Mạng Nơ-ron Tích chập Toàn phần (FCN) với một mạng phân tích cảnh theo từng tầng (PSPNet) để huấn luyện mô hình. Điều này cho phép ICL hoàn tất quá trình xây dựng mô hình trong vòng 1 tuần sau cuộc thử nghiệm nguyên mẫu.

Sau khi một mô hình đã được huấn luyện, nó phải được triển khai để có thể sử dụng cho việc giám sát máy sàng. Phù hợp với quá trình huấn luyện mô hình, quy trình này được tự động hoàn toàn và được điều phối bằng cách sử dụng AWS Step Functions và AWS Lambda. Sau khi mô hình được triển khai thành công trên điểm cuối SageMaker, các hình ảnh đến từ camera được thay đổi kích thước để phù hợp với định dạng đầu vào của mô hình và sau đó được đưa vào điểm cuối để thực hiện dự đoán bằng cách sử dụng các hàm Lambda. Kết quả của dự đoán phân đoạn ngữ nghĩa cũng như việc phát hiện tràn được lưu trữ trong Amazon DynamoDB và Amazon S3 để phân tích hậu kỳ. Nếu phát hiện tràn, dịch vụ Thông báo Đơn giản của Amazon (Amazon SNS) hoặc các hàm Lambda có thể được sử dụng để tự động giảm nhẹ tình trạng tràn và kiểm soát các làn tương ứng trên máy sàng bị ảnh hưởng. Biểu đồ dưới đây mô tả kiến trúc này.

Kết luận

Bài viết mô tả cách ICL, một công ty khai thác mỏ của Israel, đã phát triển phương pháp thị giác máy tính riêng của họ để giám sát tự động các thiết bị khai thác mỏ bằng cách sử dụng camera. Đầu tiên, chúng tôi đã chỉ ra cách tiếp cận thách thức này từ góc độ tổ chức tập trung vào khả năng, sau đó chúng tôi cung cấp một cái nhìn chi tiết về cách mô hình được xây dựng bằng cách sử dụng AWS. Mặc dù thách thức của việc giám sát có thể là độc đáo đối với ICL, nhưng phương pháp tổng quát để xây dựng một mô hình nguyên mẫu cùng với các chuyên gia AWS có thể được áp dụng vào các thách thức tương tự, đặc biệt là đối với các tổ chức không có kiến thức AWS cần thiết.

Nếu bạn muốn tìm hiểu cách xây dựng một mô hình nguyên mẫu quy mô sản xuất cho trường hợp sử dụng của bạn, hãy liên hệ với đội ngũ tài khoản AWS của bạn để thảo luận về một cuộc thử nghiệm nguyên mẫu.

Giới thiệu về tác giả

Markus Bestehorn lãnh đạo các nhóm kỹ thuật và tạo mẫu khách hàng ở Đức, Áo, Thụy Sĩ và Israel cho AWS. Ông có bằng Tiến sĩ về khoa học máy tính và chuyên xây dựng các giải pháp IoT và machine learning phức tạp.

David Abekasis lãnh đạo nhóm khoa học dữ liệu tại Tập đoàn ICL với niềm đam mê đào tạo những người khác về phân tích dữ liệu và học máy đồng thời giúp giải quyết các thách thức kinh doanh. Ông có bằng Thạc sĩ Khoa học Dữ liệu và bằng MBA. Anh may mắn được nghiên cứu dữ liệu chuỗi không gian và thời gian trong lĩnh vực nông nghiệp chính xác.

Ion Kleopas là Kiến trúc sư nguyên mẫu học máy cấp cao với bằng Thạc sĩ về Khoa học dữ liệu và Dữ liệu lớn. Anh giúp khách hàng AWS xây dựng các giải pháp AI/ML cải tiến bằng cách hỗ trợ nhóm kỹ thuật của họ sử dụng công nghệ AWS thông qua việc cùng phát triển các nguyên mẫu cho các trường hợp sử dụng machine learning đầy thách thức, mở đường cho họ tiến tới sản xuất.

Miron Perel là Giám đốc phát triển kinh doanh máy học chính của Amazon Web Services. Miron tư vấn cho các công ty Generative AI xây dựng các mô hình thế hệ tiếp theo của họ.