머신러닝 모델의 설명 가능성: AI 시스템에 대한 신뢰와 이해 증진

연구자들은 AI를 윤리적이고 신뢰할 수 있도록 모델의 복잡성과 해석의 용이성을 균형 있게 고려한 방법론을 지속적으로 개발해야 합니다.

자연어 처리, 생성 AI, 자율 시스템 등 다양한 영역에서 머신 러닝 모델의 사용에 큰 발전이 있었습니다. 반면, 모델의 복잡성과 규모가 증가함에 따라 내부에서 작동하는 방식에 대한 가시성이 떨어지고, 이로 인해 투명성과 책임성이 부족합니다. 이 문제를 해결하기 위한 중요한 연구 분야로 최근 모델의 설명 능력에 대한 아이디어가 부각되고 있습니다. 이 글에서는 머신 러닝 모델 설명 가능성의 중요성과 그와 관련된 어려움 및 해석 가능성을 향상시키기 위해 고안된 해결책을 탐구합니다. 모델 개방성과 인간이 이해할 수 있는 통찰력을 가능하게 하는 설명 가능성은 AI 시스템에 대한 신뢰를 구축할 뿐만 아니라 실제 세계에서 사용되는 애플리케이션에서 AI의 책임 있는 채택을 통해 모델 개방성과 같은 모델 개방성과 인간이 이해할 수 있는 통찰력을 가능하게 하는 설명 가능성은 AI 시스템에 대한 신뢰를 구축할 뿐만 아니라 현실 세계에서 사용되는 애플리케이션에서 AI의 책임 있는 채택을 촉진합니다.

다양한 영역에서 이러한 모델의 통합이 증가함에 따라 인공 지능(AI) 및 머신 러닝(ML) 모델의 의사 결정 과정에서 해석 가능성이 부족하다는 우려가 제기되고 있습니다. 인공 지능 시스템이 사람이 이해할 수 있는 예측 또는 분류에 대한 통찰력을 제공하는 능력을 모델 설명 가능성이라고 합니다. 이 글에서는 모델에서의 설명 가능성의 의의, 다양한 분야에서의 적용 가능성 및 해석 가능성이 인공 지능의 신뢰성에 미치는 영향을 탐구합니다.

 

 

모델 설명 가능성의 이유

윤리적 유의성: 윤리적 인공지능의 배치를 보장하기 위해 모델을 설명할 수 있어야 합니다. 그것은 데이터의 편향과 편견을 식별하는 데 도움이 되며, 둘 다 의사결정 과정에 부정적인 영향을 미칠 수 있습니다.

책무성 및 신뢰 증대: 인공지능 시스템에 의한 결정은 의료, 금융, 자율 주행 등 다양한 분야에서 광범위한 영향을 미칠 수 있습니다. 사용자와 다른 이해 관계자들은 이러한 모델이 의사 결정 과정을 보다 가시적이고 이해하기 쉽게 만들기 때문에 설명 가능한 모델에 대한 신뢰를 가질 가능성이 높습니다. 이는 궁극적으로 인공지능 시스템에 의한 결정에 대한 책무성 증가로 이어집니다.

 

 

모델 설명 가능성 과제

성능 및 설명성 상충 관계: 모델이 얼마나 잘 수행되는지와 결과를 얼마나 잘 설명할 수 있는지 간에 종종 불균형이 있습니다.

높은 수준의 해석 가능성은 정확한 예측을 희생시키는 반면, 높은 수준의 정확성은 모형을 이해하기 어려울 수 있습니다.

모델 복잡성: 수백만 개의 매개 변수를 가진 복잡한 모델 디자인은 현대 AI 모델의 특징이며, 특히 심층 신경망의 특징입니다. 이 모델들이 어떻게 결정을 내리는지 알아내는 것은 엄청난 도전입니다.

 

 

모형 설명성 기법

해석하기 쉬운 친근한 모델: 의사 결정 트리, 선형 회귀 등 해석에 자연스럽게 도움이 되는 모델이 있습니다. 투명성이 가장 중요한 응용 분야에서는 대개 이러한 모델이 선호됩니다.

규칙 기반 설명 가능성: 시스템은 일반적으로 모델이 내린 결정에 대한 설명을 제공하는 수단으로 if-then 규칙을 사용합니다. 이러한 원리는 모델이 어떻게 결론과 예측에 도달하는지를 사람이 이해할 수 있는 언어로 설명합니다.

시각화 지원 설명 가능성: 사용자는 활성화 맵 및 현저성 맵과 같은 시각화 기술을 적용하여 입력의 다양한 측면이 모델의 출력에 어떻게 기여하는지 이해할 수 있습니다. 이미지 인식과 관련된 작업은 이러한 기술의 적용으로 막대한 이점을 얻을 수 있습니다. 예를 들어, 피험자의 AD 여부를 예측하는 것이 목표인 딥 러닝 네트워크를 사용한 알츠하이머 뇌 MRI 분류에서는 모델의 성능 주장을 강화하기 위해 현저성 맵을 갖는 것이 도움이 됩니다. AD가 올바르게 예측된 4개의 뇌 MRI 스캔으로 구성된 현저성 맵이 있는 그림 1에서 볼 수 있듯이, 특정 영역이 훨씬 더 두드러짐을 알 수 있으므로 AD의 영향을 받는 영역을 정확하게 감지하고 예측할 수 있는 모델에 대한 자신감을 입증할 수 있습니다.

특징 중요도: LIME(Local Interpretable Model-agnostic Descriptions) 및 SHAP(SHAPley Additive explanations)와 같은 특징 중요도 접근법을 통해 각 개별 입력 특징에 관련성 점수가 할당됩니다. 이러한 방법을 사용하면 어떤 특징이 특정 예측에 가장 크게 기여하는지 이해할 수 있습니다.

단순한 선형회귀모형을 설명하는 데 SHAP이 어떤 도움을 줄 수 있는지 살펴보도록 하겠습니다. 이 실험을 위해 마케팅 데이터셋을 이용하였는데, 선형회귀모형을 구축하여 다른 독립변수를 기준으로 쇼핑비용의 총합을 예측하고, 훈련된 모델과 데이터에 SHAP 라이브러리를 이용하여 모델에 최대의 영향을 미치는 특징이나 변수를 파악하였습니다.

 

# calculate SHAP values 
import shap

explainer = shap.Explainer(model, X_train) ## model is the fit linear regression model, X_train is the training data
shap_values = explainer(X_test) ## X_test is the testing data

# plot
plt.title('SHAP summary for Total amount spent', size=16)
shap.plots.beeswarm(shap_values, max_display=5)

 

SHAP  기능 중요도

 

출력을 통해 선형 회귀 모형에서 지출된 총 금액을 결정하는 데 도움이 되는 상위 5개의 특징을 확인할 수 있습니다. 최대 지출액은 와인, 그 다음으로 육류, 생선 순으로 나타남을 알 수 있습니다.

 

 

 

모델 설명 가능성 영향

금융산업의 맥락에서 투명한 모델은 규제기관, 고객, 금융기관 등에게 특정 신용카드나 담보대출 신청의 승인 또는 거부의 원인을 파악할 수 있는 기회를 제공하며, 이는 공정성과 책임감을 동시에 확보하는 데 도움이 됩니다.

의료 전문가의 자신감을 확립하고자 한다면, 의료 진단 분야에서 모델의 설명력은 필수적입니다. 해석 가능한 모델은 진단 결과에 대한 명확한 이유를 제시할 수 있으며, 이는 보다 확실한 의사 결정으로 이어질 수 있습니다. 예를 들어, 신경 영상 데이터를 이용한 질병 조기 분류 분야에서는 많은 연구가 진행되고 있습니다. 설명 가능한 모델은 그러한 예측에 대한 자신감을 크게 높이고, 질병의 조기 진단을 위해 의료 전문가에게 도움이 될 것입니다.

현재 기업용 솔루션뿐만 아니라 개인용으로도 완전 자율 주행 자동차를 가능하게 하는 것에 대한 많은 연구와 노력이 진행되고 있습니다. 이러한 머신 러닝 모델의 설명력은 운전자, 승객 및 보행자에게 AI 시스템이 안전하고 신뢰할 수 있는 결정을 내리고 있다는 확신을 제공하기 때문에 자율 주행 자동차의 출시에 있어 가장 중요합니다.

 

 

결론

머신 러닝 모델의 설명 가능성에 대한 요구는 AI 시스템의 사용이 광범위해짐에 따라 점점 더 중요한 요구 사항이 되고 있습니다. 설명 가능성과 신뢰 증가, 그리고 윤리적 중요성은 모두 투명하고 해석 가능한 모델에 의해 촉진됩니다. 다양한 실제 응용 분야에서 AI를 윤리적이고 신뢰할 수 있도록 연구자와 실무자 모두 모델의 복잡성 수준과 해석 가능한 용이성 사이에서 이상적인 균형을 찾는 방법을 지속적으로 개발해야 합니다. 머신 러닝 모델 설명 가능성 분야는 지속적인 협업 노력의 결과로 계속 발전할 것이며, 이는 지속 가능한 방식으로 AI 기술의 발전에 기여할 것입니다.