페리

[0]. SHAP (Shapley Additive Explanations)란?게임 이론의 샤플리 값을 활용한 기법이다.머신러닝 모델의 예측 결과를 각 피처(특징)의 기여도로 분해하여 설명하는 XAI 기법이다. [1]. SHAP이 필요한 이유 예를 들어 모델이 "악성 종양, 확률 98%"라고 했을 때왜 그 결론인가?어떤 요소가 결정적이었나?틀렸을 때 어디서 잘못됐나?"이걸 답하는 것이 XAI, 그중 Feature Attribution 계열의 대표가 SHAP이다.{1}. Feature Attribution이란?예측값 = 기준값 + 피처1 기여 + 피처 2 기여 + ... + 피처 n 기여즉, 각 피처가 예측에 얼마나, 어느 방향으로 기여했는지 수치로 분해하는 것이다. 근데 각 피처의 기여도를 어떻게 측정해야..

[1]. LIME란?예측 하나를 설명하기 위해, 주변만 단순한 모델로 흉내 내는 기법이다.[2]. 핵심 아이디어복잡한 모델 전체를 이해하려 하지 말고, 설명하고 싶은 예측 1건 주변에서만 단순한 선형 모델로 근사해서 설명하자{1}. "주변"?입력 데이터를 살짝 변형한 유사한 데이터들을 의미한다.예를 들어 원본 데이터가 종양 크기 = 2.1cm, 나이=40 이면,종양크기 = 2.3cm, 나이 = 45 ⇒ 주변종양크기 = 1.7cm, 나이 = 43 ⇒ 주변종양크기 = 1.0cm, 나이 = 25 ⇒ 주변 아님즉, 거리가 가까울수록 가중치를 높게, 멀수록 낮게 줘서 선형 모델을 학습시키는 것이다.[3]. 작동 원리{1}. 설명할 데이터 1건 선택원본 : 종양 크기 = 2.1cm, MRI 신호강도 = 0.7, 나..

[1]. Attention Mechanism{1}. 개념"입력 데이터의 모든 부분을 동등하게 보지 않고, 중요한 부분에 더 집중하는 메커니즘" 예를 들면사람이 긴 글을 읽을 때 전체를 똑같이 집중해서 읽지 않는다."결론", "핵심", "중요"같은 단어가 보이면 그 부분을 더 집중해서 읽는 거랑 똑같다.{2}. 왜 나왔나? - RNN의 한계Attention 이전에는 RNN(순환 신경망)이 순서가 있는 데이터를 처리했다. RNN의 문제는 아래와 같다.입력 : "환자의 종양 크기가 매우 크고, MRI 신호강도가 높으며 나이는 젊다"RNN 처리 순서 :"환자의" → "종양" → "크기가" → 매우" → "크고" → "MRI" → .. → "젊다"문장이 길어지면 앞부분 정보가 뒤로 갈수록 희석된다. 예를 들면,1..

[1]. Saliency Map이란?{1}. 개념모델이 예측할 때 입력 이미지의 어느 픽셀에 집중했는지를 시각적으로 표현한 지도이다. 비유하자면 형광펜으로 중요한 부분에 밑줄 긋는 것이다.의사가 MRI 사진을 보고 "이 부분이 수상하다"며 동그라미 치는 것처럼모델이 "나는 이 부분을 보고 종양이라고 판단했어"를 히트맵으로 표현하는 것이다.{2}. 왜 필요한가?딥러닝 모델은 이미지를 보고 예측하지만 왜 그렇게 예측했는지(블랙박스)는 말해주지 않는다. Saliency Map은 블랙박스를 열어서 "모델이 이 부분를 보고 판단했다"를 시각적으로 보여준다.{3}. 핵심 아이디어"예측값에 가장 큰 영향을 준 픽셀이 어디인가?"픽셀을 조금 바꿨을 때 예측값이 크게 바뀌면 중요한 픽셀이고, 예측값이 안 바뀌면 중요하지..

https://link.springer.com/article/10.1007/s10586-025-05281-5[5]. 의료 영상 분야에서 설명 가능한 인공지능의 실제 적용 사례{1}. 방사선학 - AI 판독에 확신을 주다방사선과 의사가 수백 장의 영상을 볼 때,AI가 "이 부분이 의심됩니다"라고 형광펜으로 표시해 주는 역할을 한다.(1). 실제 적용1. 폐렴 탐지 (흉부 X-ray)Grad-CAM 히트맵으로 염증 부위 강조의사가 "AI가 맞는 곳을 봤네" 확인 가능2. 뇌종양 분할 (MRI)SHAP + Deep Taylor Decomposition종양 영역 정밀 식별3. 골절 탐지 (근골격계 X-ray)LIME, SHAP, GRAD-CAM 비교 연구XAI 피드백으로 훈련한 모델이 실제 환경에서 더 우수(2..

https://link.springer.com/article/10.1007/s10586-025-05281-5 리뷰 논문이어서 의료 분야에서 XAI가 어떻게 사용되는지만 정리하려고 했는데, 읽다 보니 많은 양의 선행 연구를 체계적으로 분류하고, 비판적으로 분석하는 연구진의 방법론과 논리적 설득력을 극대화하는 학술적 글쓰기 구조를 배울 수 있게 되었다. 해당 논문은 이집트의 Minia University 연구진(Essam H. Houssein, Amr M. Gamal, Eman M. G. Younis, Ebtsam Mohamed )을 중심으로 작성되었다. 의료 영상 AI에 XAI를 적용한 연구들을 모아서 비교, 분석하고, 문제점이랑 앞으로 방향을 정리한 리뷰 논문이다. [0]. 요약2016년에 시작된 ..

[1]. XAI란?AI가 만든 결과를 사람이 더 잘 이해할 수 있는 방식으로 해석하고 설명하는 기술 투명한 AI 의사결정 과정으로 *머신러닝 라이프사이클 중에 전반에 걸쳐 적용되는 기술 ? 머신러닝 라이프사이클비즈니스 문제 정의, 데이터 수집/정제, 모델 학습 및 평가, 배포, 모니터링 및 재학습으로머신러닝 전체의 과정이 이어지는 반복적인 순환 과정 XAI는 아래와 같은 질문에 답변을 해준다.모델이 그렇게 결과를 내놓은 이유?다른 결정을 하지 않은 이유?어떤 경우에 모델이 성공적이었는가?어떤 경우에 모델이 실패했는가?어떤 경우에 모델의 출력을 신뢰할 수 있는가?사용자는 오류를 어떻게 수정할 수 있는가?즉, XAI는 AI의 결정을 사람이 이해할 수 있도록, 어떤 근거로 그 결론에 도달했는지 설명해 주는..

베이즈 정리는 모델이 새로운 데이터를 관측하면서 기존의 믿음(확률)을 업데이트하는 규칙이다.Prior(P(H)): 데이터를 보기 전의 모델 상태Posterior (P(H|E)): 데이터를 학습한 후 업데이트된 모델 상태이 매커니즘 덕분에 AI는 데이터가 적은 상황에서도 초기 지식을 바탕으로 추론을 시작할 수 있다. AI에서 왜 중요함?AI는 본질적으로 불확실한 상태에서 추론을 한다.스팸인지, 아닌지이미지가 강아지인지, 아닌지⇒ 이때 확률을 어떻게 갱신하느냐가 핵심이다.그 원리가 베이즈 정리이다. 베이즈 정리를 AI 용어로 번역하면 공식은 아래와 같다.공식을 해석하면 아래 표와 같다.수학 기호AI 의미P(Class)Prior - 기존 지식, 사전 확률P(Data∣Class)Likelihood - 해당 클래..