의료 AI의 무기화
*제목을 클릭하면 해당 기사로 연결됩니다.
※ 기사. Medical AI's weaponization
머신 러닝(Machine learning)*은 어떤 개인 의사보다 더 빠른 속도와 정확성으로 암을 진단할 수 있을 수 있지만,
상대적으로 숙련도가 낮은 프로그래머의 손에서는 또 다른 유행병을 가져올 수 있다.
*Machine learning: 컴퓨터가 패턴 인식 작업을 개발하는 과정 또는 컴퓨터가 지속적 학습을 통해 데이터를 기반으로 특정 프로그래밍 없이도 예측하여 필요한 작업을 수행하는 것으로
AI의 하위 범주에 속함
왜 문제일까: 보건의료 분야에서는 가장 흥미로운 AI 혁신을 창출하고 있지만, 더불어 AI를 이용하여 치료를 시작하는 사람들에 대해 현대 의학을 무기화할 수 있는 위험이 존재한다.
최근 세계보건기구(WHO)는 보건의료 분야에서 대규모 언어 모델(Large Language Models, LLM)*을 배포할 때 편향, 잘못된 정보 및 개인정보 침해 위험성에 대해 경고했다.
WHO는 인구 전체를 완전히 반영하지 못하는 데이터가 오해의 소지가 있거나 부정확한 정보를 생성하는 것에 대해 우려했다.
WHO의 연구에 따르면, 환자가 치료 중 피해가 발생할 가능성은 300분의 1이며, 이 중 대부분이 데이터 오류로 인해 발생한다고 밝혔다.
WHO는 의료 전문가, 환자, 연구자, 과학자를 지원하기 위해 LLM을 포함한 기술에 적절한 사용은 환영하지만,
이를 일반적으로 사용하기 전에 우려되는 사항을 해결하고, 사용상 이점에 대한 명확한 증거를 제시할 것을 제안했다**.
또한, 건강을 위한 AI 설계, 개발 및 배치에 있어 "보건의료를 위한 AI의 윤리와 거버넌스"***에 대한 WHO 지침에 열거된 바를 올바로 적용하는 것이 중요하다고 거듭 강조했다.
*Large Language Models, LLM): 인공 지능(AI)에서 생성된 대규모 언어 모델 도구로 ChatGPT, Bard, Bert 및
인간 커뮤니케이션의 이해, 처리, 생성을 모방하는 플랫폼과 같이 빠르게 확장되는 플랫폼 포함
**WHO calls for safe and ethical AI for health
<보건의료 분야에서 AI에 대한 WHO의 우려 사항 및 권장 사항>
- AI 훈련에 사용되는 데이터는 편향되어 건강, 형평성 및 포용성에 위험을 초래할 수 있는 오해의 소지가 있거나 부정확한 정보를 생성할 수 있음
- LLM은 사용자에게 권위 있고 그럴듯하게 보일 수 있는 대답을 생성함. 그러나 이러한 응답은 특히 건강 관련 응답의 경우 정확하지 않거나 심각한 오류가 있을 수 있음
- LLM은 사용에 대한 동의를 받은 바 없는 데이터로 훈련받았을 수 있고, 사용자가 응답을 생성하기 위해 애플리케이션에 제공하는 민감한 데이터(건강 데이터 포함)도 보호받지 못할 수 있음
- LLM은 일반인이 신뢰할 수 있는 건강 콘텐츠와 구별하기 어려운 텍스트, 오디오 또는 비디오 콘텐츠의 형태로 매우 설득력 있는 허위 정보를 생성하고 유포하는 데 오용될 수 있음
- WHO는 건강 개선을 위한 AI 및 디지털 헬스를 포함한 신기술을 활용하기 위해 노력하는 동시에 정책 입안자들이 환자의 안전을 보장하고 기술 회사가 LLM을 상용화하기 위해 노력할 것을 권장함
***Ethics and governance of artificial intelligence for health
<Ethics and governance of artificial intelligence for health에서 6가지 핵심 원칙>
1) 자율성 보장
2) 인간복지, 안전 및 공익의 증진
3) 투명성, 설명 가능성 및 명료성 보장
4) 책임감(responsibility)과 책무성(accountability) 함양
5) 포용성과 형평성 보장
6) 반응이 빠르고 지속 가능한 AI 육성
보건의료 분야에서 AI 기술이 빠르게 발전하고 있는 상황에서 우리는 이 기술이 생명을 구할 수도 있지만 해할 수도 있다는 점을 기억해야 한다.
보건의료 분야에서 AI는 백신 개발이 더 빠르게 이루어질 수 있도록 돕고, 의사가 치명적인 심장질환을 정확하고 빠르게 치료할 수 있도록 지원하고 있다.
또한, 인간보다 더 빠르게 암을 예측*하거나, 인공수정 성공률**을 높이고자 사용되기도 한다.
*AI Predicts Future Pancreatic Cancer
**AIVF and Genea Biomedx enter a partnership to jolt the $50B IVF Market.
그러나, 재앙은 단 한 번의 클릭 또는 보안 위반으로 인해 발생할 수 있다.
최근 40개국 약 350개 회사가 합성생물학 분야를 개척하고 있다.
특별히, 최근 몇 년간 AI와 러닝 머신은 합성생물학에서 생물학적 현상을 밝히고 특정 목표를 달성하기 위한 도구로 사용되고 있으며, 더 자동화된 분석과 의사결정을 지원하고 있다*.
하지만 여기서 방출될 수 있는 바이러스가 문제 될 수 있다.
AI를 통해 더 많은 인공 유기체가 생성됨에 따라 항생제 내성 슈퍼박테리아가 방출되거나 또 다른 세계적 유행병이 발생할 가능성이 더 커질 수 있다.
실제로 UN은 슈퍼박테리아가 2050년까지 매년 천만 명의 사망을 가져올 수 있으며, 이는 암보다 더 높은 사망 원인이 될 것으로 추정했다.
또한, 고온, 염분, 알카리성 조건에 내성을 가진 인공 유기체가 하면 기존 종을 멸종시키거나 생태계 교란을 가져올 수 있다.
합성 항체를 개발하기 위해 노력하고 있는 Absci의 설립자이자 대표 Sean MaClain은 새로운 유기체를 생성할 수 있는 AI 모델은 일반인에게 노출해서는 안 된다고 말했다.
이는 국가 안보의 관점에서 매우 중요하며, 따라서 규제 기관이 자신이 만든 AI 모델에 대해 감독하는 것 또한 반대하지 않는다고 밝혔다.
또한, 2022년 한 연구팀은 AI가 6시간만에 40,000개의 새로운 화학 무기 화합물을 제안했다고 밝혔다*.
그들은 독성을 예측하고 궁극적으로 줄이기 위한 AI 모델을 사용했으나, 대신 독성을 증가시키는 훈련을 시켰다.
이렇게 제안된 화합물이 노출되었을 때 무기로 사용될 수 있는 위험성이 있다.
*AI suggested 40,000 new possible chemical weapons in just six hours
의료 연구를 무기화하는 위험 외에도, 의료환경에서의 AI는 인종, 성별 및 지리적 격차를 악화시킬 위험이 있다.
이는 AI 모델을 훈련시키는데 사용하는 데이터에는 편향이 포함되는 경우가 많기 때문이다. 따라서 기술에 대한 평등한 접근이 보장되는 것이 중요하다.
예를 들어, 독일에서 제1형 당뇨병을 앓고 있는 어린이들은 스마트 기기와 빠른 인터넷 제공을 통해 이제 혈당수치를 더 잘 제어할 수 있게 되었다. 그러나 미국에서는 그렇지 않다.
현재 FDA의 의료기기 관리체계에서는 시장에 출시되는 AI 기반의 앱과 의료기기의 급증을 규제할 수 있는 장치가 없다고 밝혔다.
CDC는 1999년부터 생물 테러를 피하는 지침을 제공하고 있으나 AI에 대한 언급은 없다.
만약 FDA와 CDC의 지침이 업데이트된다면 이것이 의료 AI 무기화에 대한 첫 번째 방어선이 될 것이다.