FDA의 AI 전면 도입 계획에 대한 쟁점
□ [기사 1] FDA's plan to roll out AI agencywide raises questions
https://www.axios.com/2025/05/12/fda-ai-drugs-company-data-questions?utm_source=chatgpt.com
□ [기사 2] FDA AI deployment: Innovation vs oversight in drug regulation
https://www.artificialintelligence-news.com/news/fda-ai-deployment-innovation-vs-oversight-drug-regulation/
□ [기사 3] FDA plans to roll out AI agency-wide for reviews in June
https://www.raps.org/news-and-articles/news-articles/2025/5/fda-plans-to-roll-out-ai-agency-wide-for-reviews-i
□ [참고기사] Court: UnitedHealth Must Answer for AI-Based Claim Denials
https://dd80b675424c132b90b3-e48385e382d2e5d17821a5e1d8e4c86b.ssl.cf1.rackcdn.com/external/unitedhealth-ai-lawsuit-ruling-2-13-25.pdf
□ [참고자료] 미국 미네소타 연방지방법원 판결문(전문)
https://www.bankinfosecurity.com/court-unitedhealth-must-answer-for-ai-based-claim-denials-a-27534
□ 도입 배경
미국 식품의약국(U.S. Food and Drug Administration, 이하 ‘FDA’)은 2025년 6월 말까지 모든 부서에 생성형 인공지능(Generative AI) 도구를 전면 도입할 계획이다. 이는 반복적인 규제 심사 업무를 보다 빠르고 신속하고 정확하게 처리하고, 심사 인력의 행정적 부담을 줄이기 위한 전략의 일환이다.
트럼프 행정부의 규제 완화 및 기술 혁신 중심의 인공지능 정책 기조도 FDA의 이러한 결정에 영향을 미쳤으며, 연방 정부는 현재 FDA를 포함한 여러 기관을 기술 시험환경으로 삼아 AI의 선도적이고 공격적인 도입을 추진 중이다. 이러한 FDA의 AI 도입 계획은 규제기관으로서의 정체성과 혁신 기술 도입 간의 균형을 본격적으로 모색하는 중요한 시도가 될 것이다.
□ 적용 분야
FDA가 도입하고 있는 AI 도구는 OpenAI 기반의 대형 언어 모델(LLM: Large Language Model)을 바탕으로 하며, 주요 활용 목적은 문서 요약, 데이터 분석, 보고서 작성 등 반복적이고 시간 소모적인 업무의 자동화에 있다. 이는 규제 심사 업무의 효율성과 정확성을 높이는 동시에, 심사자들의 행정적 부담을 완화하는 데 초점이 맞춰져 있다. 향후 FDA는 이를 모든 센터에 적용해 과학적 검토, 문서 분석, 데이터 비교 등의 업무를 효율화하고 신약 승인 검토 시간을 단축할 계획이다.
FDA는 AI를 전 부서에 일괄적으로 적용하기보다는, 부서별 업무 특성과 필요도에 따라 우선순위를 정해 점진적으로 확산시켜 나갈 계획이다. 예를 들어, 의약품 심사 부서에서는 과학 논문과 임상시험 데이터 분석을 자동화하고, 의료기기 부서에서는 제품 설명서와 기술 문서 검토를 지원한다. 이를 통해 각 부서의 고유한 업무 흐름에 맞는 맞춤형 AI 기능을 제공할 수 있도록 한다.
이러한 AI 도구는 심사자의 전문적 판단을 대체하는 것이 아니라, 보조적인 역할을 수행하도록 설계되어 있다. 즉, 규제 결정에 대한 최종 책임은 여전히 심사자에게 있으며, AI는 그들의 업무를 지원하는 수단으로 기능한다는 점에서, 기술에 대한 통제와 책임의 원칙이 강조되고 있다.
□ 우려 사항
● 데이터 보안
FDA가 AI를 활용하여 의약품, 식품, 의료기기, 진단 테스트 등을 평가하는 과정에서, 기업의 민감한 데이터가 AI 시스템에 입력될 수 있다. FDA는 AI 시스템이 엄격한 정보 보안을 유지하고 FDA 정책에 따라 적용될 것이라고 했으나, 보호 장치에 대한 구체적인 정보를 여전히 부족하므로 기밀 정보가 적절히 보호되고 있는지에 대한 우려가 제기되고 있다.
● AI 모델의 투명성
FDA는 OpenAI와 협력하여 'cderGPT'라는 AI 도구를 개발 중이며, 이를 통해 의약품 평가를 지원하려 하고 있다. 그러나 현재까지 어떤 AI 모델이 사용되고 있으며, 어떤 방식으로 훈련되고 있는지에 대한 구체적인 정보가 공개되지 않아, AI의 판단 과정에 대한 투명성이 부족하다.
● 빠른 도입 속도
FDA는 2025년 6월 말까지 모든 부서에 AI를 도입할 계획을 세우고 있다. 이러한 빠른 추진은 기술적 검증이나 윤리적 고려가 충분히 이루어지지 않은 상태에서 진행되고 있다는 비판을 받고 있다. 전문가들은 AI 도입이 신중하게 이루어져야 하며, 충분한 테스트와 검토가 선행되어야 한다고 강조하고 있다.
● 정책의 균형
트럼프 행정부는 AI 기술의 빠른 도입을 장려하며, 기존의 규제 장치를 완화하고 있다. 이러한 정책은 혁신을 촉진할 수 있지만, 동시에 안전성과 윤리성을 확보하기 위한 규제의 필요성을 간과할 수 있다는 우려가 있다.
● 책임 소재의 불명확성
AI가 의사결정 과정에 적극적으로 활용될 경우, 그 결정에 대한 책임이 누구에게 있는지에 대한 문제가 발생할 수 있다. 현재 AI가 보조적인 역할을 한다고 하지만, 실제로 AI의 판단이 심사자의 결정에 큰 영향을 미칠 경우, 오류 발생 시 책임 소재가 불명확해질 수 있다.
□ 향후 전망
FDA는 AI 활용을 단순한 내부 업무 자동화에 그치지 않고, 민간 기업과의 협력, 데이터 공유, 규제 혁신 등 다양한 분야로 확장할 전략을 구상하고 있다. 특히 OpenAI와 같은 외부 파트너와의 제한적 협력을 통해 AI 모델의 활용 범위를 넓히는 방안이 논의되고 있으며, 이는 향후 공공-민간 간 데이터 생태계 형성과 규제 혁신의 기반이 될 것으로 기대된다. 그러나 이러한 기술 도입은 단순한 혁신을 넘어 윤리적, 법적, 정책적 측면에서도 신중한 접근이 요구된다.
|
[참고] 헬스케어 분야의 자동화가 불러온 윤리적 우려 미국 민간 보험사 UnitedHealth 사례 미국 미네소타 연방지방법원은 2025년 2월 13일, UnitedHealth Group(이하 ‘UHC’) 및 자회사들이 인공지능(AI) 프로그램 nH Predict를 활용해 Medicare Advantage(노인 대상 민간 건강보험) 가입자들의 요양 및 재활 등 ‘사후 급성기 치료 보험금 지급을 부당하게 거부했다는 집단소송에서, 일부 원고의 청구를 기각하고 일부는 재판을 계속 진행하기로 결정했다. 소송은 2023년에 제기되었으며, 2025년 2월 기준으로 총 7개의 청구 중 5개는 기각되었지만, ‘보험 계약 위반’과 ‘신의성실 원칙 위반’이라는 두 가지 핵심 청구는 여전히 법원에서 심리 중이다, ● 사건 개요 원고들은 UHC의 Medicare Advantage 보험에 가입해, 질병이나 부상 후 요양병원 등에서 치료를 받기 위해 보험금을 청구했으나, 모두 지급이 거부됐다. 이 과정에서 일부는 치료를 중단하거나 본인 부담으로 치료를 받았고, 건강 악화 또는 사망에 이른 사례도 있었다. 원고들은 UHC가 의사 대신 nH Predict를 이용해 환자 개별 상황과 무관하게 기계적으로 보험금 지급을 거부했다고 주장했다. 특히, 이 AI는 유사 환자 집단의 평균 데이터를 기준으로 필요한 치료기간을 산정하며, 직원들에게 AI의 예측 결과를 따르지 않으면 불이익을 준 것으로 지적됐다. 원고들은 AI의 결정이 실제 임상의의 판단을 무시하고, 90% 이상의 보험금 거부가 이의신청 과정에서 번복되는 등 AI의 오류율이 매우 높았다는 점도 강조했다. ● 법원의 판단 법원은 원고들의 대부분 청구가 ‘보험금 지급 거부’라는 본질적 사안과 불가분하게 얽혀 있어, 연방법상 ‘행정적 구제절차’를 거쳐야 한다고 판단했다. 다만, 원고들이 이 절차를 모두 마치지 못한 이유에 대해, UHC가 반복적으로 거부와 승인을 반복해 환자들이 사실상 포기하게 만들었다는 점을 고려해, ‘행정절차의 무익성’을 인정하여 일부 청구에 한해 절차적 요건을 면제했다. 또한 원고 측은 UHG가 보험 계약에서 명시한 ‘임상 전문가에 의한 보장 결정’ 조건을 위반했다고 주장한다. AI가 의료진 대신 판단을 내리면서 계약상의 의무를 저버렸고, 결국 보험사는 고의적으로 보장 거절 비율을 높여 보험료는 수취하면서 정당한 치료비 지급은 회피한 셈이라는 것이다. 특히, 전체 가입자 중 단 0.2%만이 거절된 보험금 청구를 실제로 항소하는 현실을 악용해, 회사는 AI의 높은 오류율을 알면서도 비용 절감 차원에서 이 시스템을 유지한 것으로 지적되고 있다. 그러나, 연방법의 광범위한 우선 적용 조항에 따라, 원고들이 제기한 대부분의 주법상 청구(부당이득, 보험 악의, 과실 등)는 각하됐다. 다만, 보험계약 위반 및 성실·공정 거래의 묵시적 보장 위반 청구는 연방법과 직접 충돌하지 않으므로, 재판을 계속 진행하기로 했다. ● 시사점 이번 판결은 의료보험사가 AI 알고리즘을 활용할 때, 투명성과 공정성을 반드시 확보해야 함을 강조한다. AI의 높은 오류율과 반복적인 보험금 거부 등은 환자에게 직접적인 피해를 줄 수 있음을 보여준다. 따라서 알고리즘의 의사결정 과정과 결과에 대해 환자에게 명확하게 설명하는 것이 환자 권익 보호에 필수적임을 시사한다. 또한 보험사가 계약상 약속된 절차와 기준을 지키지 않을 경우, 법적으로 책임을 질 수 있다는 점도 확인되었다. 이 판결은 단순히 한 기업의 특정 알고리즘에 관한 것이 아니라, 헬스케어 분야에서 AI를 사용할 때 기업이 갖추어야 할 법적, 윤리적 책임의 기준을 제시한 중요한 사례로 평가된다. |