다음을 통해 공유

모델 해석력

이 문서에서는 Azure Machine Learning의 모델 해석에 사용할 수 있는 방법을 설명합니다.

모델 디버깅에 모델 해석력이 중요한 이유

사람들의 삶에 영향을 미치는 방식으로 기계 학습 모델을 사용할 때 모델의 동작에 영향을 미치는 요소를 이해하는 것이 매우 중요합니다. 해석력은 다음과 같은 시나리오에서 질문에 답하는 데 도움이 됩니다.

  • 모델 디버깅: 내 모델에서 이 실수가 발생한 이유는 무엇인가요? 모델을 어떻게 개선할 수 있나요?
  • 인간-AI 협업: 모델의 결정을 이해하고 신뢰하려면 어떻게 해야 하나요?
  • 규정 준수: 내 모델이 법적 요구 사항을 충족하나요?

책임 있는 AI 대시보드의 해석력 구성 요소는 기계 학습 모델의 예측에 대한 인간이 이해할 수 있는 설명을 생성하여 모델 수명 주기 워크플로의 "진단" 단계에 기여합니다. 모델의 동작에 대한 여러 보기를 제공합니다.

  • 글로벌 설명: 예를 들어, 대출 할당 모델의 전체 동작에 영향을 미치는 기능은 무엇인가요?
  • 로컬 설명: 예를 들어, 고객의 대출 애플리케이션이 승인되거나 거부된 이유는 무엇인가요?

선택된 코호트에 대한 모델 설명을 데이터 포인트의 하위 그룹으로 관찰할 수도 있습니다. 이 방식은 예를 들어 특정 인구 통계 그룹의 개인에 대한 모델 예측의 공정성을 평가할 때 유용합니다. 이 구성 요소의 로컬 설명 탭은 또한 데이터를 일반적으로 관찰하고 각 코호트의 올바른 예측과 잘못된 예측 간의 차이를 확인하는 데 유용한 전체 데이터 시각화를 나타냅니다.

이 구성 요소의 기능은 모델 설명을 생성하는 InterpretML 패키지를 기반으로 합니다.

다음이 필요할 때 해석력을 사용합니다.

  • 예측에 가장 중요한 기능을 이해하여 AI 시스템의 예측이 얼마나 신뢰할 수 있는지 확인합니다.
  • 먼저 모델을 이해하고 모델이 정상적인 기능을 사용하는지 아니면 단순히 잘못된 상관 관계를 사용하는지 식별하여 모델 디버깅에 접근합니다.
  • 모델이 중요한 기능을 기반으로 하는지 아니면 상관관계가 높은 기능을 기반으로 하는지를 이해하여 불공정의 잠재적 원인을 찾아냅니다.
  • 결과를 설명하는 로컬 설명을 생성하여 모델의 결정에 대한 사용자의 신뢰를 빌드합니다.
  • AI 시스템의 규제 감사를 완료하여 모델의 유효성을 검사하고 모델 결정이 인간에 미치는 영향을 모니터링합니다.

모델을 해석하는 방법

기계 학습에서 기능은 대상 데이터 포인트를 예측하는 데 사용하는 데이터 필드입니다. 예를 들어 신용 위험을 예측하려면 나이, 계정 규모, 계정 사용 기간에 대한 데이터 필드를 사용할 수 있습니다. 여기서 나이, 계정 크기, 계정 사용 기간이 기능입니다. 기능 중요도는 각 데이터 필드가 모델의 예측에 어떻게 영향을 주는지 알려줍니다. 예를 들어 예측에 나이 필드를 많이 사용하더라도 계정 크기와 계정 사용 기간은 예측 값에 큰 영향을 미치지 않을 수 있습니다. 이 프로세스를 통해 데이터 과학자는 관련자에게 모델의 가장 중요한 기능에 대한 표시 유형을 제공하는 방식으로 결과 예측을 설명할 수 있습니다.

책임 있는 AI 대시보드의 클래스와 메서드를 사용하고 SDK v2 및 CLI v2를 사용하여 다음을 수행할 수 있습니다.

  • 전체 모델(전체 설명) 또는 개별 데이터 포인트(로컬 설명)에 대한 기능 중요도 값을 생성하여 모델 예측을 설명합니다.
  • 실제 데이터 세트에서 대규모로 모델 해석력을 달성합니다.
  • 대화형 시각화 대시보드를 사용하여 학습 시간에 데이터의 패턴과 설명을 검색합니다.

지원되는 모델 해석력 기술

책임 있는 AI 대시보드는 해석 가능한 모델을 학습시키고 불투명한 AI 시스템을 설명하는 데 도움이 되는 오픈 소스 Python 패키지인 Interpret-Community에서 개발된 해석력 기술을 사용합니다. 불투명 상자 모델은 내부 작동에 대한 정보가 없는 모델입니다.

Interpret-Community는 지원되는 다음 설명자의 호스트 역할을 하며 현재 다음 섹션에서 제공하는 해석력 기술을 지원합니다.

Python SDK v2 및 CLI v2의 책임 있는 AI 대시보드에서 지원됨

해석력 기술 설명 유형
모방 설명자(전역 서로게이트) + SHAP 트리 모방 설명자는 불투명 상자 모델을 모방하도록 전역 서로게이트 모델을 학습한다는 아이디어를 기반으로 합니다. 전역 서로게이트 모델은 모든 불투명 상자 모델의 예측에 대해 최대한 정확한 근사치를 산출하도록 학습된, 본질적으로 해석이 가능한 모델입니다.

데이터 과학자는 서로게이트 모델을 해석하여 불투명 상자 모델에 대한 결론을 도출할 수 있습니다. 책임 있는 AI 대시보드는 트리와 트리 앙상블에 대한 특정 설명자인 SHAP(SHapley Additive exPlanations) 트리 설명자와 쌍을 이루는 LightGBM(LGBMExplainableModel)을 사용합니다. LightGBM과 SHAP 트리의 조합은 기계 학습 모델에 대한 모델에 구애받지 않는 전역 및 로컬 설명을 제공합니다.		 모델 독립적

텍스트 모델에 대해 지원되는 모델 해석 기술

해석력 기술 설명 유형 텍스트 작업
SHAP 텍스트 SHAP(SHapley Additive exPlanations)는 지정된 예측에 대한 각 입력 기능의 기여도에 대한 인사이트를 제공하는 심층 신경망에 대한 널리 사용되는 설명 방법입니다. 이는 협동 게임에서 개별 플레이어에게 크레딧을 할당하는 방법인 Shapley 가치 개념을 기반으로 합니다. SHAP는 가능한 모든 기능 조합에서 모델 출력에 대한 각 기능의 평균 기여도를 계산하여 신경망의 입력 기능에 이 개념을 적용합니다. 특히 텍스트의 경우 SHAP는 계층적 방식으로 단어를 분할하여 각 단어나 토큰을 기능으로 처리합니다. 이는 지정된 예측에 대한 각 단어 또는 토큰의 중요도를 정량화하는 특성 값 집합을 생성합니다. 최종 특성 맵은 이러한 값을 원본 텍스트 문서에 대한 히트맵으로 시각화하여 생성됩니다. SHAP는 모델에 독립적인 방법이며 CNN, RNN 및 변환기를 포함한 광범위한 딥 러닝 모델을 설명하는 데 사용할 수 있습니다. 또한 일관성, 정확도, 공정성과 같은 몇 가지 바람직한 속성을 제공하므로 모델의 의사 결정 프로세스를 이해하는 데 신뢰할 수 있고 해석 가능한 기술이 됩니다. 모델 독립적 텍스트 다중 클래스 분류, 텍스트 다중 레이블 분류

이미지 모델에 대해 지원되는 모델 해석 기술

해석력 기술 설명 유형 비전 작업
SHAP 비전 SHAP(SHapley Additive exPlanations)는 지정된 예측에 대한 각 입력 기능의 기여도에 대한 인사이트를 제공하는 심층 신경망에 대한 널리 사용되는 설명 방법입니다. 이는 협동 게임에서 개별 플레이어에게 크레딧을 할당하는 방법인 Shapley 가치 개념을 기반으로 합니다. SHAP는 가능한 모든 기능 조합에서 모델 출력에 대한 각 기능의 평균 기여도를 계산하여 신경망의 입력 기능에 이 개념을 적용합니다. 특히 비전의 경우 SHAP는 이미지를 계층적 방식으로 분할하여 이미지의 슈퍼픽셀 영역을 각 기능으로 처리합니다. 이는 지정된 예측에 대한 각 슈퍼픽셀 또는 이미지 영역의 중요도를 정량화하는 특성 값 집합을 생성합니다. 최종 특성 맵은 이러한 값을 히트맵으로 시각화하여 생성됩니다. SHAP는 모델에 독립적인 방법이며 CNN, RNN 및 변환기를 포함한 광범위한 딥 러닝 모델을 설명하는 데 사용할 수 있습니다. 또한 일관성, 정확도, 공정성과 같은 몇 가지 바람직한 속성을 제공하므로 모델의 의사 결정 프로세스를 이해하는 데 신뢰할 수 있고 해석 가능한 기술이 됩니다. 모델 독립적 이미지 다중 클래스 분류, 이미지 다중 레이블 분류
단계별 역전파 단계별 역전파는 모델의 학습된 표현에 대한 인사이트를 제공하는 심층 신경망에 대한 널리 사용되는 설명 방법입니다. 입력 이미지에 대한 출력의 그라데이션을 계산하여 모델의 특정 뉴런을 활성화하는 입력 기능의 시각화를 생성합니다. 다른 그라데이션 기반 방법과 달리 단계별 역전파는 양의 그라데이션을 통해서만 역전파하고 음의 그라데이션이 시각화에 영향을 미치지 않도록 수정된 ReLU 활성화 함수를 사용합니다. 그 결과 지정된 예측에 대해 입력 이미지에서 가장 중요한 기능을 강조하는 보다 해석하기 쉽고 고해상도의 핵심 맵이 생성됩니다. 단계별 역전파는 CNN(나선형 신경망), RNN(순환 신경망) 및 변환기를 포함한 광범위한 딥 러닝 모델을 설명하는 데 사용할 수 있습니다. AutoML (자동화된 기계 학습) 이미지 다중 클래스 분류, 이미지 다중 레이블 분류
단계별 gradCAM 단계별 GradCAM은 모델의 학습된 표현에 대한 인사이트를 제공하는 심층 신경망에 대한 널리 사용되는 설명 방법입니다. 이는 단계별 역전파의 경사 기반 방식과 GradCAM의 지역화 방식을 결합하여 특정 출력 클래스에 가장 많이 기여하는 입력 기능의 시각화를 생성합니다. 구체적으로, 네트워크의 마지막 나선형 계층의 기능 맵과 관련하여 출력 클래스의 그라데이션을 계산한 다음 해당 클래스에 대한 활성화의 중요도에 따라 각 기능 맵에 가중치를 부여합니다. 이는 지정된 출력 클래스에 대해 입력 이미지의 가장 구별되는 영역을 강조하는 고해상도 히트맵을 생성합니다. 단계별 GradCAM은 CNN, RNN 및 변환기를 포함한 광범위한 딥 러닝 모델을 설명하는 데 사용할 수 있습니다. 또한 단계별 역전파를 통합함으로써 시각화가 의미 있고 해석 가능하도록 보장하여 가짜 활성화와 부정적인 기여를 방지합니다. AutoML (자동화된 기계 학습) 이미지 다중 클래스 분류, 이미지 다중 레이블 분류
통합 그라데이션 통합 그라데이션(Integrated Gradients)는 지정된 예측에 대한 각 입력 기능의 기여도에 대한 인사이트를 제공하는 심층 신경망에 대한 널리 사용되는 설명 방법입니다. 기본 이미지와 실제 입력 이미지 사이의 직선 경로를 따라 입력 이미지에 대한 출력 클래스의 그라데이션 정수를 계산합니다. 이 경로는 일반적으로 두 이미지 사이의 선형 보간으로 선택되며 기준은 핵심 기능이 없는 중립 이미지입니다. 이 경로를 따라 그라데이션을 통합함으로써 통합 그라데이션(Integrated Gradients)는 각 입력 기능이 예측에 어떻게 기여하는지에 대한 측정값을 제공하여 특성 맵을 생성할 수 있습니다. 이 맵은 가장 영향력 있는 입력 기능을 강조 표시하며 모델의 의사 결정 프로세스에 대한 인사이트를 얻는 데 사용할 수 있습니다. 통합 그라데이션은 CNN, RNN 및 변환기를 포함한 광범위한 딥 러닝 모델을 설명하는 데 사용할 수 있습니다. 또한 민감도, 구현 불변성, 완전성 등 일련의 바람직한 속성을 충족하는 이론적으로 근거가 있는 기술입니다. AutoML (자동화된 기계 학습) 이미지 다중 클래스 분류, 이미지 다중 레이블 분류
XRAI XRAI는 IG(Integrated Gradients)를 기반으로 하는 새로운 지역 기반 핵심 방법입니다. 이미지를 과도하게 분할하고 각 지역의 중요도를 반복적으로 테스트하여 특성 점수에 따라 더 작은 지역을 더 큰 세그먼트로 통합합니다. 이 전략은 기존 핵심 기술을 능가하는 고품질의 긴밀하게 경계가 지정된 핵심 영역을 생성합니다. XRAI는 일부 유사성 메트릭을 통해 입력 기능을 세그먼트로 클러스터링하는 방법이 있는 한 모든 DNN 기반 모델과 함께 사용할 수 있습니다. AutoML (자동화된 기계 학습) 이미지 다중 클래스 분류, 이미지 다중 레이블 분류
D-RISE D-RISE는 개체 감지 모델의 예측에 대한 시각적 설명을 만들기 위한 모델 독립적인 방법입니다. D-RISE는 개체 감지의 위치 파악 및 분류 측면을 모두 고려하여 감지기 예측에 가장 많이 기여하는 이미지 부분을 강조하는 핵심 맵을 생성할 수 있습니다. 그라데이션 기반 방법과 달리 D-RISE는 더 일반적이며 개체 감지기의 내부 작동에 액세스할 필요가 없습니다. 모델의 입력과 출력에만 액세스하면 됩니다. 이 방법은 1단계 감지기(예: YOLOv3), 2단계 감지기(예: Faster-RCNN) 및 비전 변환기(예: DETR, OWL-ViT)에 적용될 수 있습니다.
D-Rise는 입력 이미지의 임의 마스크를 만들어 핵심 맵을 제공하고 이를 입력 이미지의 임의 마스크와 함께 개체 감지기로 보냅니다. 개체 감지기 점수의 변화를 평가하여 각 마스크의 모든 검색을 집계하고 최종 핵심 맵을 생성합니다.		 모델 독립적 개체 감지

다음 단계