Các nhà nghiên cứu phát triển các công cụ để giúp các nhà khoa học dữ liệu làm cho các tính năng được sử dụng trong các mô hình máy học trở nên dễ hiểu hơn đối với người dùng cuối.

Các phương pháp giải thích giúp người dùng hiểu và tin tưởng vào các mô hình học máy thường mô tả mức độ đóng góp của các tính năng nhất định được sử dụng trong mô hình vào dự đoán của nó. Ví dụ: nếu một mô hình dự đoán nguy cơ mắc bệnh tim của bệnh nhân, bác sĩ có thể muốn biết dữ liệu nhịp tim của bệnh nhân ảnh hưởng đến dự đoán đó mạnh đến mức nào.

Nhưng nếu những tính năng đó quá phức tạp hoặc rối rắm đến mức người dùng không thể hiểu chúng, thì phương pháp giải thích có hiệu quả không?

Các nhà nghiên cứu của MIT đang cố gắng cải thiện khả năng diễn giải của các tính năng để những người ra quyết định sẽ cảm thấy thoải mái hơn khi sử dụng kết quả đầu ra của các mô hình máy học. Dựa trên nhiều năm nghiên cứu thực địa, họ đã phát triển một hệ thống phân loại để giúp các nhà phát triển tạo ra các tính năng giúp đối tượng mục tiêu của họ dễ hiểu hơn.

“Chúng tôi phát hiện ra rằng trong thế giới thực, mặc dù chúng tôi đang sử dụng những cách thức hiện đại nhất để giải thích các mô hình máy học, nhưng vẫn có rất nhiều nhầm lẫn xuất phát từ các tính năng chứ không phải từ chính mô hình đó,” cho biết Alexandra Zytek, một nghiên cứu sinh tiến sĩ về kỹ thuật điện và khoa học máy tính và là tác giả chính của bài báo giới thiệu về phân loại học cho biết.

Để xây dựng phân loại, các nhà nghiên cứu đã xác định các thuộc tính giúp các tính năng có thể hiểu được đối với năm loại người dùng, từ các chuyên gia trí tuệ nhân tạo đến những người bị ảnh hưởng bởi dự đoán của mô hình máy học. Họ cũng cung cấp các hướng dẫn về cách người tạo mô hình có thể chuyển đổi các tính năng thành các định dạng mà người bình thường sẽ dễ hiểu hơn.

Họ hy vọng công việc của họ sẽ truyền cảm hứng cho những người xây dựng mô hình cân nhắc sử dụng các tính năng có thể giải thích được ngay từ đầu quá trình phát triển, thay vì cố gắng làm ngược lại và tập trung vào khả năng giải thích sau khi thực tế xảy ra.

Các đồng tác giả của MIT bao gồm Dongyu Liu, một postdoc; thăm giáo sư Laure Berti-Équille, giám đốc nghiên cứu tại IRD; và tác giả cao cấp Kalyan Veeramachaneni, nhà khoa học nghiên cứu chính trong Phòng thí nghiệm Hệ thống Quyết định và Thông tin (LIDS) và là trưởng nhóm Dữ liệu cho AI. Họ có sự tham gia của Ignacio Arnaldo, một nhà khoa học dữ liệu chính tại Corelight. Nghiên cứu đã được công bố trong ấn bản tháng 6 của Hiệp hội Máy tính Nhóm lợi ích đặc biệt về Khám phá tri thức và Khai thác dữ liệu Bản tin khám phá được bình duyệt .

Bài học thực tế

Các tính năng là các biến đầu vào được cung cấp cho các mô hình học máy; chúng thường được rút ra từ các cột trong tập dữ liệu. Veeramachaneni giải thích : Các nhà khoa học dữ liệu thường chọn và tạo thủ công các tính năng cho mô hình và họ chủ yếu tập trung vào việc đảm bảo các tính năng được phát triển để cải thiện độ chính xác của mô hình chứ không phải liệu người ra quyết định có thể hiểu chúng hay không.

Trong nhiều năm, anh ấy và nhóm của mình đã làm việc với những người ra quyết định để xác định những thách thức về khả năng sử dụng máy học. Các chuyên gia miền này, hầu hết đều thiếu kiến ​​thức về máy học, thường không tin tưởng vào các mô hình vì họ không hiểu các tính năng ảnh hưởng đến các dự đoán.

Đối với một dự án, họ đã hợp tác với các bác sĩ lâm sàng trong ICU của bệnh viện, những người đã sử dụng máy học để dự đoán nguy cơ bệnh nhân sẽ gặp phải các biến chứng sau phẫu thuật tim. Một số tính năng được trình bày dưới dạng giá trị tổng hợp, chẳng hạn như xu hướng nhịp tim của bệnh nhân theo thời gian. Mặc dù các tính năng được mã hóa theo cách này là “mô hình sẵn sàng” (mô hình có thể xử lý dữ liệu), các bác sĩ lâm sàng không hiểu cách chúng được tính toán. Liu cho biết, họ muốn xem các tính năng tổng hợp này liên quan như thế nào với các giá trị ban đầu, để có thể xác định sự bất thường trong nhịp tim của bệnh nhân.

Ngược lại, một nhóm các nhà khoa học học tập ưa thích các tính năng được tổng hợp. Thay vì có một tính năng như “số lượng bài đăng mà sinh viên đã thực hiện trên các diễn đàn thảo luận”, họ muốn có các tính năng liên quan được nhóm lại với nhau và gắn nhãn bằng các thuật ngữ mà họ hiểu, chẳng hạn như “sự tham gia”.

“Với khả năng diễn giải, một kích thước không phù hợp với tất cả. Khi bạn đi từ khu vực này sang khu vực khác, sẽ có những nhu cầu khác nhau. Và bản thân khả năng diễn giải cũng có nhiều cấp độ,” Veeramachaneni nói.

Ý tưởng rằng một kích thước không phù hợp với tất cả là chìa khóa cho sự phân loại của các nhà nghiên cứu. Chúng xác định các thuộc tính có thể làm cho các tính năng trở nên dễ hiểu hơn hoặc ít hơn đối với những người ra quyết định khác nhau và phác thảo những thuộc tính nào có khả năng quan trọng nhất đối với những người dùng cụ thể.

Chẳng hạn, các nhà phát triển máy học có thể tập trung vào việc có các tính năng tương thích với mô hình và khả năng dự đoán, nghĩa là họ sẽ cải thiện hiệu suất của mô hình.

Mặt khác, những người ra quyết định không có kinh nghiệm học máy có thể được phục vụ tốt hơn bởi các tính năng do con người diễn đạt, nghĩa là chúng được mô tả theo cách tự nhiên đối với người dùng và dễ hiểu, nghĩa là chúng đề cập đến các chỉ số trong thế giới thực người dùng có thể suy luận về.

“Cơ chế phân loại cho biết, nếu bạn đang tạo các tính năng có thể hiểu được, thì chúng có thể hiểu được ở mức độ nào? Bạn có thể không cần tất cả các cấp độ, tùy thuộc vào loại chuyên gia miền mà bạn đang làm việc cùng,” Zytek nói.

Đặt khả năng diễn giải lên hàng đầu

Các nhà nghiên cứu cũng phác thảo các kỹ thuật kỹ thuật tính năng mà nhà phát triển có thể sử dụng để làm cho các tính năng dễ hiểu hơn đối với một đối tượng cụ thể.

Kỹ thuật tính năng là một quá trình trong đó các nhà khoa học dữ liệu chuyển đổi dữ liệu thành định dạng mà các mô hình máy học có thể xử lý, sử dụng các kỹ thuật như tổng hợp dữ liệu hoặc chuẩn hóa các giá trị. Hầu hết các mô hình cũng không thể xử lý dữ liệu phân loại trừ khi chúng được chuyển đổi thành mã số. Những biến đổi này thường gần như không thể đối với những người bình thường.

Zytek cho biết việc tạo các tính năng có thể hiểu được có thể liên quan đến việc hoàn tác một số mã hóa đó. Chẳng hạn, một kỹ thuật kỹ thuật tính năng phổ biến tổ chức các khoảng dữ liệu sao cho tất cả chúng đều chứa cùng một số năm. Để làm cho các tính năng này dễ hiểu hơn, người ta có thể nhóm các độ tuổi bằng thuật ngữ của con người, như trẻ sơ sinh, trẻ mới biết đi, trẻ em và thanh thiếu niên. Hoặc thay vì sử dụng một tính năng được chuyển đổi như tốc độ xung trung bình, một tính năng có thể hiểu được có thể chỉ đơn giản là dữ liệu tốc độ xung thực tế, Liu cho biết thêm.

“Trong nhiều lĩnh vực, sự đánh đổi giữa các tính năng có thể hiểu được và độ chính xác của mô hình thực sự rất nhỏ. Ví dụ: khi chúng tôi làm việc với các công cụ sàng lọc phúc lợi trẻ em, chúng tôi đã đào tạo lại mô hình chỉ sử dụng các tính năng đáp ứng các định nghĩa của chúng tôi về khả năng diễn giải và hiệu suất giảm gần như không đáng kể,” Zytek nói.

Dựa trên công việc này, các nhà nghiên cứu đang phát triển một hệ thống cho phép nhà phát triển mô hình xử lý các phép biến đổi tính năng phức tạp theo cách hiệu quả hơn, để tạo ra các giải thích lấy con người làm trung tâm cho các mô hình máy học. Hệ thống mới này cũng sẽ chuyển đổi các thuật toán được thiết kế để giải thích các bộ dữ liệu sẵn sàng cho mô hình thành các định dạng mà những người ra quyết định có thể hiểu được.