설명 가능한 인공지능(XAI)[XAI개념, AI와 XAI차이, 적용사례,한계]

 

 인공지능(AI)은 현재 거의 모든 산업에서 혁신을 주도하고 있으며, 그 영향력은 계속해서 확장되고 있다. 그러나 AI가 인간의 삶에 깊숙이 자리 잡으면서, AI의 결정 과정을 이해하고 신뢰할 수 있는지에 대한 요구도 커지고 있으며 과연 신뢰할만한 것인가 자체도 논의되고 있다.

 

 이러한 요구에 부응하기 위해 등장한 개념이 바로 설명 가능한 인공지능(XAI, Explainable AI) 입다. 사실 이 개념의 등장 배경은 ai의 결과가 전문가들마저 이해하지 못하면서 등장하게 되었고 2004년부터 정의된 개념이다. XAI는 AI 시스템이 내리는 결정이나 예측을 쉽게 이해하고 해석할 수 있도록 돕는 것을 목표로 하며, 이는 단순히 AI의 '결과'를 보여주는 것에 그치지 않고, 그 결과가 어떻게 도출되었는지, 왜 그런 결론에 이르렀는지를 사람들에게 설명할 수 있는 AI 시스템을 의미한다.

 

 결론적으로 XAI는 AI가 인간이 납득할 수 없는 결과를 내놓았기에 AI 자체의 논리구조에 대해 설명하고, 추론결과를 신뢰할 수 있는지, 잘못된 결과를 내 논다면 어떤 과정으로 그런 결과를 내년 것인지에 대한 질문을 던진 것이다. 이를 활용해 훨씬 더  발전시킬 수 있는 개념정도로 이해하시면 된다.

XAI의 개념과 중요성

 

 

 AI 모델은 많은 경우 "블랙박스"처럼 작동한다. 이는 입력 데이터를 받아들여 예측이나 결정을 내리지만, 그 과정이 복잡하고 전문가마저 이해하기 어려운 상태로 결론을 내리는 경우가 있다. 이런 블랙박스 특성은 AI의 결정에 대해 신뢰에 대한 문제가 발생한다. 특히 AI가 의사결정의 핵심 도구로 자리 잡아가면서, 왜 특정한 결정을 내렸는지, 그리고 그 결정이 어떻게 도출되었는지를 설명할 수 있어야만 사용자와 규제 기관, 그리고 일반 대중의 신뢰를 얻을 수 있다.

1. 투명성 및 신뢰성 확보: XAI는 AI의 작동 원리를 투명하게 만들어 사용자에게 신뢰를 제공한다. 이는 특히 고위험 산업, 예를 들어 금융, 의료, 법률 등의 분야에서 AI가 널리 사용될 때 매우 중요하며, 사용자가 AI의 결정을 신뢰하지 못한다면, 그 시스템은 결국 실패할 가능성이 크니 결국 신뢰성 측면에서 필수적이다.
2. 책임성 증대: AI의 결정에 대해 설명할 수 있다는 것은, 그 결정에 대한 책임을 질 수 있다는 것을 의미한다. 만약 AI가 잘못된 결정을 내린 경우, XAI는 왜 그 결정이 내려졌는지를 밝히고, 이를 통해 문제를 수정할 수 있는 기회를 제공한다.
3. 공정성 및 윤리적 고려: AI의 결정이 특정 그룹이나 개인에게 불공정한 영향을 미치는 경우, 그 이유를 설명할 수 있어야 합니다. XAI는 AI 모델의 편향성을 분석하고 이를 줄이는 데 중요한 역할을 한다.

XAI와 AI의 차이

 

 설명 가능한 인공지능(XAI)의 동작 프로세스는 기존의 AI와 다르다. 기존의 AI의 경우 단순히 결과만을 내놓았다면 XAI의 경우 이를 설명하고 사용자에게 맞춤으로 정보를 제공하기 위한 연산을 진행한다는 점이 가장 큰 차이다. 다만 이러한 모델자체에서 어디까지 표현할 거냐에 대한 문제점이 존재하고 일반사용자용이나 전문가 용이냐에 따라 AI모델의 차이가 발생하기에 그 선에 대한 고민도 지속되고 있다. 

기존 AI의 동작 프로세스

1. 데이터 수집 및 전처리: AI 모델에 입력할 데이터를 수집하고, 데이터 정제, 변환, 스케일링 등의 전처리 작업을 수행
2. 모델 학습: AI 모델은 수집된 데이터를 학습하여 패턴을 인식하고, 입력 변수와 출력 변수 간의 관계를 모델링
3. 예측 및 결정: 학습된 모델은 새로운 입력 데이터에 대해 예측을 수행하고, 이에 따른 결정을 내림, 이 과정은 "블랙박스"로 표현되며, 모델이 내리는 결정 과정이 내부적으로 어떻게 이루어지는지 외부에서 이해하기 어렵다.
4. 결과 제공: 모델의 예측 결과나 결정이 사용자에게 제공, 그러나 왜 그 결정이 내려졌는지에 대한 설명은 제공되지 않는 경우가 많음

XAI의 동작 프로세스

1. 데이터 수집 및 전처리: 기존 AI와 마찬가지로 데이터를 수집하고 전처리한다. 그러나 XAI는 데이터의 공정성(fairness)과 편향성(bias)을 특히 주의하여 분석하고, 필요한 경우 데이터를 조정하거나 추가적으로 설명 가능한 특성을 추출하는 작업을 추가 수행한다.
2. 모델 학습: XAI 모델은 기존 AI 모델과 마찬가지로 데이터를 학습하지만, 추가적으로 모델의 예측 가능성을 높이기 위한 메타 데이터를 포함하거나, 의사결정 과정에서 설명 가능한 특성을 강조하는 학습 방법을 사용, 예를 들어, XAI는 선형 회귀나 의사결정나무와 같은 설명 가능한 모델을 사용하거나, 복잡한 모델의 경우에도 각 예측에 대한 설명을 생성할 수 있는 방법을 병행하여 사용
3. 설명 생성 (Post-Hoc 설명): XAI의 중요한 단계로, 모델이 내린 결정에 대한 설명을 생성한다. 이 단계에서는 LIME(Locally Interpretable Model-agnostic Explanations), SHAP(SHapley Additive exPlanations) 같은 기술이 사용되어 모델이 특정 예측을 내린 이유를 설명한다. 이를 통해 사용자에게 예측에 대한 이해를 돕는 설명을 제공한다.
4. 예측 및 설명 제공: XAI 모델은 예측과 함께 해당 예측이 어떻게 도출되었는지를 설명하는 정보를 함께 제공한다. 사용자는 AI 모델이 내린 결정에 대해 신뢰할 수 있는 이유를 얻고, 결정 과정의 투명성을 확보할 수 있다. 

모빌리티 산업에서의 XAI 적용 분야

모빌리티 산업, 특히 자율주행차, 차량 공유 서비스, 물류 및 교통 관리 시스템과 같은 분야에서 XAI의 적용 가능성은 매우 크다. 이 산업은 기술적으로 매우 복잡하며, 사용자 안전과 직결된 문제들을 다루기 때문에 AI의 결정 과정에 대한 투명성과 설명 가능성이 필수적이다. 그렇다면 어디에 이용될 수 있을지 생각해 보자

1. 자율주행차: 자율주행차는 다양한 센서와 AI 알고리즘을 통해 실시간으로 주행 결정을 내린다. 이 과정에서 AI가 내리는 결정이 왜 그렇게 이루어졌는지를 설명할 수 있어야 한다. 예를 들어, 차량이 갑자기 멈추거나 방향을 변경한 이유를 운전자나 승객이 이해할 수 있도록 설명해야 하며, 만약 사고가 발생한다면 그 원인을 규명할 수 있어야 한다.
2. 교통 관리 및 물류: 교통 신호 제어, 물류 경로 최적화, 차량 유지보수 예측 등에서 AI가 널리 사용되고 있다. 이러한 시스템이 내리는 결정이 왜 그렇게 이루어졌는지 설명할 수 있다면, 교통 혼잡을 줄이고 물류 효율성을 극대화하는 데 도움이 될 것이다.

설명 가능한 인공지능(XAI)은 AI 기술이 신뢰할 수 있고 투명하며 공정한 방식으로 발전할 수 있는지에 대한 사회적인 논의다. 일본의 경우 이미 상용화되어 기업에서 사용된 프로젝트들이 여럿 있고, 구글 같은 경우에도 구글 트렌드가 우리가 가장 많이 쓰는 것으로 이해하면 된다, 국내 또한 인공 지는 국가전략 프로젝트로 국가연구소에서 포항제철소에서 적용하여 90% 이상의 자동화된 사례가 있을 정도로 활용하여 효율적으로 사용하고 있다.

 

XAI의 한계

 설명 가능한 인공지능(XAI)은 AI의 투명성과 신뢰성을 높이기 위해 중요한 역할을 하지만, 몇 가지 한계도 가지고 있다. 특히, 성능과 설명 가능성 사이의 트레이드오프 관계는 XAI의 한계를 이해하는 데 중요한 요소다.

성능과 설명 가능성의 트레이드오프

XAI에서 가장 중요한 도전 과제 중 하나는 성능과 설명 가능성 사이의 균형을 맞추는 것이다. 고성능 AI 모델, 특히 딥러닝 기반의 복잡한 신경망 모델은 많은 경우 매우 높은 예측 정확도를 제공한다. 그러나 이러한 모델은 수백만 개의 파라미터와 복잡한 구조로 인해 '블랙박스'처럼 작동하여, 결과를 해석하거나 설명하기 어렵다.

 

반면에, 설명 가능한 AI 모델은 상대적으로 단순한 구조를 가지고 있으며, 결과를 해석하고 설명하기 쉽습니다. 예를 들어, 의사결정 나무나 선형 회귀 모델은 그 과정이 명확히 드러나기 때문에 설명 가능성이 높지만, 복잡한 문제를 해결할 때 예측 성능이 떨어질 수 있습니다.

 

실제로 이러한 설명을 하는데 연산 능력을 쓰는 것 자체로 성능이 떨어질 수 있다는 점은 독자님들도 쉽게 이해할 수 있을 것이다. 이처럼 성능을 극대화하려는 노력과 설명 가능성을 높이려는 노력은 상충하는 관계에 있으니, 고도로 설명 가능한 모델을 선택할 경우, 성능 저하가 발생할 수 있으며, 반대로 높은 성능을 추구할 경우 모델의 설명 가능성이 떨어질 수 있다.

XAI의 신뢰성 문제와 한계

XAI가 도입된다고 해서 모든 AI 시스템이 완벽하게 신뢰할 수 있는 것은 아니다. 설명 가능성의 향상에도 불구하고 몇 가지 신뢰성 문제는 여전히 존재한다.

1. 설명의 정확성: XAI 모델이 제공하는 설명이 항상 정확하거나 완전한 것은 아니다. 일부 XAI 기법은 특정 예측의 근거를 제공하지만, 이는 단지 모델의 부분적인 이해일 수 있으며, 전체적인 작동 방식을 완전히 설명하지 못할 수도 있고 여전히 오류가 발생하는 경우도 많다.
2. 사용자의 오해: XAI의 설명이 사용자가 이해하기 쉬운 형태로 제공되더라도, 사용자가 이를 오해하거나 잘못 해석할 가능성도 있다. 설명이 단순해질수록, 복잡한 AI 모델의 실제 동작을 충분히 반영하지 못하는 경우가 발생할 수 있고 결국 인간 측면에서 정보를 잘못해석하는 결과또한도 염두에 두어야 한다.
3. 편향된 설명: XAI 모델이 특정 데이터에 대해 설명을 제공할 때, 그 설명이 편향될 수 있다. 예를 들어, 특정 특징이 강조되거나 과소평가되는 경우, 이는 설명 자체가 불완전하거나 편향된 결과를 가져올 수 있다.
4. 복잡한 시스템의 한계: 매우 복잡한 AI 시스템에서는 XAI 기법이 그 모든 복잡성을 설명하기에 한계가 있을 수 있다. 특히, 고차원 데이터와 다중 상호작용을 다루는 시스템에서, 설명 가능한 요소를 찾는 것 자체가 난도 높은 과제로 어디까지 설정할지가 가장 큰 고민이다.