KoNIBP 재단법인 국가생명윤리정책원 (KOREA NATIONAL INSTITUTE FOR BIOETHICS POLLICY)

※ 기사. When AI in healthcare goes wrong, who is responsible?

https://qz.com/1905712/when-ai-in-healthcare-goes-wrong-who-is-responsible-2/

※ Harvard Journal of Law & Technology

https://jolt.law.harvard.edu/assets/articlePDFs/v31/The-Artificial-Intelligence-Black-Box-and-the-Failure-of-Intent-and-Causation-Yavar-Bathaee.pdf

※ AMA Journal of Ethics

https://journalofethics.ama-assn.org/article/are-current-tort-liability-doctrines-adequate-addressing-injury-caused-ai/2019-02

인공지능은 암을 진단하고 자살을 예측하고 수술을 돕는데 이용될 수 있음. 이 모든 사례에서 인공지능이 인간 의사들보다 정해진 과업으로 더 나은 결과를 낸다고 암시하는 연구결과도 나와 있음. 그런데 뭔가 잘못되면 누가 책임질까?

미국 캘리포니아폴리테크닉주립대(California Polytechnic State University) Patrick Lin은 누가 책임져야 하는지에 대한 쉬운 해답은 없다고 말함. 보건의료분야에서 인공지능을 적용하는 과정(설계부터 데이터 및 전달까지)의 어느 시점에서도 오류가 발생할 수 있음.

보건의료분야에서는 인공지능을 어떻게 이용할까?

설계에는 하드웨어와 소프트웨어 구축에 제품 시험까지 포함됨. 데이터는 기계학습이 편향된 데이터로 진행될 때 발생할 수 있는 많은 문제를 아우르는 반면, 배치는 제품이 실무에 어떻게 이용되는지와 관련됨. 보건의료분야에서의 인공지능 적용은 종종 인간과 함께 일하는 로봇을 수반하며, 이는 책임의 범위를 모호하게 만듦.

예일대(Yale University) 생명윤리센터(Interdisciplinary Center for Bioethics) Wendall Wallace는 인공지능이 어디에서 어떻게 실패했는가에 따라 책임을 나눌 수 있다고 말함. “만약 인공지능시스템이 설계한대로 작동하지 않거나 기이한(idiosyncratic) 무언가를 한다면 아마 기기를 시판한 법인에 책임이 갈 것”이라면서 “실패한 것이 아니라 임상적인 맥락에서 잘못 이용하고 있다면 이용을 허가한 사람에게 법적 책임이 있다”고 설명함.

‘인공지능 블랙박스와 의도 및 인과관계의 쇠퇴(failure)’라는 논문을 게재한 변호사 Yavar Bathaee는 “인공지능프로그램이 블랙박스라면 인간처럼 예측하고 결정하더라도 그렇게 하는 이유를 제대로 소통하지 못할 것”이라면서 인간에게 적용되는 법률적 원칙이 왜 인공지능에 꼭 작동하지는 않는지를 설명함. “인공지능을 구축하거나 배치한 인간의 의도나 행동에 대하여 추론할 수 있는 것은 거의 없다는 의미이기도 하다”면서 “그들은 인공지능이 어떤 해결책에 도달할지나 어떤 결정을 내릴지 예측하지 못할 수도 있기 때문”이라고 밝힘.

인공지능 블랙박스 내부

지난해 미국의료윤리학회지(AMA Journal of Ethics)에 게재된 ‘불법행위 책임과 인공지능’ 논문에 따르면 인공지능에게 책임을 묻기 어려운 이유는 의사결정과정을 이해할 수 없는데(impenetrability) 있다고 밝힘. “인공지능을 설계한 사람이 시판 후 어떻게 행동할지 예측할 수 없다면, 그들이 어떻게 불법행위로 책임을 지겠는가?”라면서 “만약 법률체계가 인공지능의 행동을 예측할 수 없다는 이유로 설계한 사람의 법적 책임에 대해 무죄라고 선언한다면, 손상을 입은 환자들은 배상을 받을 기회가 더 줄어들 수도 있다”고 강조함.

인공지능과 보건의료는 인간 전문직들의 결정을 강화하면서 때때로 함께 잘 작동함. 인공지능이 발달하더라도 간호사를 대체하거나 의사를 완전히 자동화하지는 않을 것으로 예상됨. 그러나 인공지능이 발전할수록 인간은 기계의 결정에 반대하기가 어려워짐. 로봇이 99% 맞다면, 의사가 그와 다른 선택을 할 경우 중대한 법적 책임에 맞닥뜨릴 수 있음. “의사의 입장에서는 로봇이 말해는 대로 따라가는 것이 훨씬 더 쉽다”고 Lin은 말함.

결국 이는 인간이 로봇에게 무언가 권한을 마지못해 위임했다는 뜻임. 인공지능이 인간을 능가하는 경우도 많기에, 의사들도 기계학습에 매달려야 함. 그러나 잘못에 대한 책임소재가 명확하지 않은 한 보건의료분야에서 인공지능에 대한 경계심(wariness)은 정당화됨. “의학은 계속 진화하고 있고, 예술과 과학의 조화”라면서 “효과적으로 대응하기 위해서는 기술과 인간 모두 필요하다”고 Lin은 덧붙임.