後編では、医療機関における人工知能(AI)の利活用とともに顕在化するリスク課題のうち、倫理的・法律的側面やクラウド環境特有のセキュリティ・プライバシー課題を取り上げる。

サイバーセキュリティ／プライバシーと密接に関わる医療AI倫理

米国保健福祉省(HHS)は、2021年1月に公表した「人工知能（AI）戦略」の中で、「AIに即応した労働力を開発しAI文化を強化する」、「保健のAIイノベーションと研究開発(R&D)を推奨する」、「基礎的なAIツールとリソースを民主化する」と並んで、「倫理的で信頼されるAIの利用と開発を促進する」を注力領域に掲げている。そこでは、組織の枠を超えて、市民のプライバシーやデータセキュリティを尊重した、信頼性があり、説明可能で、バイアスのない、セキュアなAIシステムを展開すると同時に、既存のサイバーセキュリティフレームワークのAIユースケースへの適用を促進・支援し、適用されたAIの正確性や有効性、健康の公平性に関する評価を推進する姿勢を打ち出している。

このような背景を反映して、クラウドセキュリティアライアンスのヘルス・インフォメーション・マネジメント・ワーキンググループ（HIM-WG）の「医療における人工知能」（https://cloudsecurityalliance.org/artifacts/artificial-intelligence-in-healthcare/）でも、医療AIの倫理的課題を取り上げている。具体的には、以下の3点を挙げている。

1. 利用に関するインフォームドコンセント：
   臨床医は、システムが利用する機械学習(ML)の形態、入力するデータの種類、利用するデータにバイアスまたはその他の欠点がある可能性など、AIの複雑性の周辺について患者を教育する責任があるか？ 臨床医は、AIが利用されていることを患者に通知する責任があるか？
2.  透明性と安全性：
   1. 最近のAI研究は、過去事例を利用して課題の内部モデルを構築したり、そのモデルを利用して、新たな患者に関する推論を行ったりするMLに焦点を当ててきた。MLシステムは、患者を管理するために、データに基づく診断を行い、患者のアウトカムを改善することができる。臨床意思決定支援システムにおいて、ルールは専門家によって記述され、明確な来歴を有するものであり、申し分のない根拠に基づいている。他方、MLは、学習されたデータに依存している。患者が、MLシステムが学習したデータによって適切に代表されていない場合、システムの正確性が損なわれる。
   2. 安全性を保証し、患者の信頼を得るために、透明性に関する公正な措置があるべきである。AI開発者は、利用するデータおよびバイアスのようなあらゆるソフトウェア課題に関して透明である必要がある。カリフォルニア大学バークレー校の研究によると、AIにおける進化は、1996年医療保険の携行性と責任に関する法律（HIPAA)を時代遅れになったという。なぜなら、HIPAAはテック企業をカバーするわけではない－医療サービスを提供する組織に由来する時、HIPAAは、患者の保健データを保護するのみである。HIPAAはまた、顧客データを製薬企業やバイオテック企業に販売する遺伝子検査企業を規制していない。遺伝子検査はAIを利用しないが、このような事例は技術ソリューションを開発する際にプライバシー権を阻害する可能性を示している。遺伝子検査企業は、単に祖先について語っているだけではなく、特定の健康リスクに対する遺伝的素因に関する価値ある情報を提供する。2017年、23andMeは、10の疾病リスク（セリアック病、遅発型アルツハイマー病、パーキンソン病など）について、顧客の遺伝子情報を分析する規制上の承認を得た。このデータ利用の1つには、予測的な遺伝子検査を利用して、選定プロセスにバイアスを与え、高額の保険料を徴収する保険会社がある可能性がある。このような場合の課題は、どのようにして、プライバシーの懸念を軽減する方法で、データ利用を保証するかにある。
3. データプライバシー：カリフォルニア大学バークレー校の研究によると、AIにおける進化は、1996年医療保険の携行性と責任に関する法律（HIPAA)を時代遅れになったという。なぜなら、HIPAAはテック企業をカバーするわけではない－医療サービスを提供する組織に由来する時、HIPAAは、患者の保健データを保護するのみである。HIPAAはまた、顧客データを製薬企業やバイオテック企業に販売する遺伝子検査企業を規制していない。遺伝子検査はAIを利用しないが、このような事例は技術ソリューションを開発する際にプライバシー権を阻害する可能性を示している。遺伝子検査企業は、単に祖先について語っているだけではなく、特定の健康リスクに対する遺伝的素因に関する価値ある情報を提供する。2017年、23andMeは、10の疾病リスク（セリアック病、遅発型アルツハイマー病、パーキンソン病など）について、顧客の遺伝子情報を分析する規制上の承認を得た。このデータ利用の1つには、予測的な遺伝子検査を利用して、選定プロセスにバイアスを与え、高額の保険料を徴収する保険会社がある可能性がある。このような場合の課題は、どのようにして、プライバシーの懸念を軽減する方法で、データ利用を保証するかにある。

なおHHSは、2021年9月に「信頼されるAI(TAI)プレイブック」を公表している。「信頼されるAI」について、公的信頼と信用を促進する一方、適用可能な法律に従って、プライバシーや市民の権利、市民の自由、米国の価値を保護するような方法による、AIの設計や構築、調達、利用と定義した上で、主要なAIのリスクとして、以下の4つを挙げている。

• 戦略と名声
• サイバーとプライバシー
• 法務と規制
• オペレーション

このように、サイバーセキュリティやプライバシーのリスク低減は、医療AIの倫理的課題への取組と密接に関わっていることがわかる。

さらに、CSA HIM-WGの「医療における人工知能」では、医療AIの法的課題を取り上げている。AI利用に関連した倫理的課題と法的課題が、直接的な相関関係にある例として、以下の4点を挙げている。

• 1. 安全性：
     ブラックボックス医薬品や、医療に関する意思決定を行う不透明な計算処理モデルの利用を安全に遂行することがとても重要である。MLのような手法を、説明や意味の人間的な概念に役立てることは容易でない。MLのアウトプットは、通常、確率論的で不可解なものである。どのようにしたら医療提供組織(HDO)は、利用するブラックボックス化したソフトウェアが安全であることを保証できるかという疑問がある。米国では、食品医薬品局(FDA)が、医療システムにおけるAIを規制しており、このような能力や目的を主張してきた。
  2. 責任：
     万一、AIシステムが誤った推奨事項を与え、臨床医がその推奨事項を採用して患者に害が及んだら、誰が責任を取るのか？ 臨床医が推奨事項に関する行為の責任を負うのか、それとも開発者が責任を負うのか？厳格な責任理論の下で、開発者は、AIにおける欠点の責任を負う可能性がある。少なくとも短期的に、AI自体は、その行為や欠落についておそらく責任を負わないだろう。その結果、プロセスに関与する人々（開発者と医療者）は、おそらくAIに関する責任に接するであろう。責任が専門家の責任か製品の責任かは、AIが遂行する機能に依存する。どのように責任を設定するかは、抑制しようとして補償するか、単に補償するかによる。補償アプローチは、米国におけるワクチン補償を反映したものであり、開発者が出資し、危害を受けた人々に支払うことによって、システムはリスクを共有する。
  3. データ保護とプライバシー：
     AIは、パターンを見分けて学習し、結論づけて、まったく新しいインサイトを生み出すために、膨大な量の分析データを必要とする。医療産業を変革できる最先端の技術がある一方、必要な技術は必ずしも最先端である必要はない－時には、患者記録にアクセスし、予約して、器具を設定する簡単な能力である。最先端の日常的な技術はデータに対するニーズがあり、このデータの利用は、データを保護する責務を伴う。AIは、プライバシー侵害とサイバーセキュリティ脅威に関する固有の課題やリスクを引き起こし、患者や医療提供組織に明らかにネガティブな影響をもたらす。すべてのデータのプライバシーを保証するためには、データプライバシー法規制が更新され、AIやMLのシステムで利用されるデータを含むことが求められる。プライバシー法は、AIやMLにおけるイノベーションを説明するために一貫性があり柔軟であることが必要である。現行規制は、技術における変化に追いついていない。HIPAAはデータの非識別化を求める；しかしながら、今日の技術は、非識別化データをリンクさせて識別化をもたらす。
  4. データセキュリティ：
     セキュリティは、AIに新たな課題をもたらし、アルゴリズムの大半は大量のデータセットへのアクセスを必要とするという事実により悪化させる。システム間の大量のデータ移動は、大半の医療提供組織にとって新しいものであり、データ侵害の確率に対してより敏感になる。AI向けに大規模データセットを保存すると、ハッカーにとって魅力的な標的となる。セキュリティは常に最重要である；しかしながら、利害関係者は、医療ITエコシステムにおいてAIが発展するために不可欠なデータ共有の課題と期待にもっと精通すべきである。医療AIおよびML機器を保護するために、医療提供組織が取れるいくつかの簡単なステップがある：1) アクセスコントロールが設定され、多要素認証とともに機能することを保証する。2) 異常行動を特定するために、エンドポイントセキュリティに異常検知を組み込む。3) 従来のステップに加えて、医療提供組織は、堅牢でセキュアなデバイスを構築し、展開すべきである。
  5. 知的財産法：
     このような法律は、ブラックボックス医薬品の開発向けに別の課題をもたらす。AIやビッグデータを、安全で効果的な製品やサービス、プロセスに変えるには費用がかかる。医療提供組織は、巨額の金をブラックボックスのアルゴリズム開発に投資する。どのようにして、投資を保護することができるだろうか？ 理想的には、知的財産法は、AIやMLの開発者を保護するものだが、知的財産は、ブラックボックス医薬品向けには比較的弱い。特許は、技術的イノベーションを保護するにはよい選択だが、特許はブラックボックス医薬品に対する強力な保護を提供しない。どのようにして医療提供組織がAIへの投資を保護するかという問いは、より明確化する必要がある重要課題である。

前述の通り、医療AIの倫理的課題として、以下の3点を挙げている。

1. インフォームドコンセント
2. 透明性と安全性
3. データプライバシー

他方、医療AIの法的課題として、以下の5点を挙げている。

1. 安全性
2. 責任
3. データ保護とプライバシー
4. データセキュリティ
5. 知的財産法

AIが倫理的および法的な方法により、成功裏に展開されることを保証するために、すべてのステークホルダーが一緒になって、これらの課題に取組むことが重要であるとしている。

クラウドネイティブな医療AIシステムを支える責任共有モデル

すでにAI技術は、かつて医療機関が実行していたタスクを置き換えつつある。AIは、クラウドコンピューティングと組み合わせて稼働しながら、医療分野にデジタルトランスフォーメーション(DX)をもたらしている。データ駆動型医療の導入とともに、医療機関は、将来のデータ管理・分析をAIに依存するようになりつつある。それとともに、クラウドコンピューティングは、医療分野のデータ駆動型AIイノベーションの共通基盤として、注目されている。

AIの認知機能とMLは、大容量データ上で急成長しており、その拡張性や迅速なアクセスは、標準化されたクラウド環境上で実現可能となっている。医療提供組織は、AIやMLをクラウドコンピューティングと組み合わせて利用することによって、費用を削減するだけでなく、患者アウトカムの改善に取組んでいる。AIを備えたクラウドコンピューティングの利用は、現在医療提供組織に利用可能なビッグデータセットから、意味のあるインサイトを引き出す際に、有効活用することができる。クラウドを利用することによって、効果的なAIやMLに要求される大規模データセットの分析が可能になる。

このようなAIの進化は、医療機器や遠隔医療、IoMT（Internet of Medical Things)、デバイス、ビッグデータといった新技術の導入とともに加速している。これによって、医療提供組織は、AIやMLを利用したデータ分析に基づいて、慢性疾患の管理を改善し、潜在的な医療課題を特定することが可能になる。医療提供組織は、クラウドの導入に合わせて、プライバシーやセキュリティの懸念事項に取組む必要がある。特に、クラウドコンピューティングで利用される責任共有モデルが重要だとして、医療提供組織に対して、リスクの評価・低減のために、コントロールが確実に設定することを推奨している。

最近のインシデント事例としては、米国のサイバーセキュリティ企業の研究チームが、がん研究・患者支援団体のWebシステムのクラウドストレージの構成ミスにより、ユーザーの画像データおよび関連するEXIFデータが漏えいする可能性があったことを報告している。EXIFデータには、撮影した機器に関する情報や、取り込んだ画像のGPS情報などが含まれていた。クラウドストレージは、認証コントロールが設定されない状態のまま公開されていたという。サイバーセキュリティ企業は、Webサイト運営者やクラウドサービス事業者、US-CERTに報告した後、不具合が修復されたことを確認したとしている。

大容量の学習用データセットを必要とする医療AIシステムの場合、SaMD(Software as a Medical Device)やSiMD (Software in a Medical Device)に代表される医療ソフトウェアの開発ライフサイクル管理に係るアプリケーションセキュリティと同時に、データの保存・利用に係るインフラストラクチャセキュリティの効率化・自動化も要求される。そして、アプリケーションセキュリティとインフラストラクチャセキュリティの統括管理責任を有するのは、クラウドを利用するユーザー側であるのが一般的だ。倫理的・法的観点からも、複数のステークホルダーから構成される医療AIエコシステムの責任共有モデルを再確認することが、サイバーセキュリティ／プライバシー管理策の向上につながる。

（参考文献）

・U.S. Department of Health & Human Services (HHS) 「Trustworthy AI (TAI) Playbook」(2021年9月)

https://www.hhs.gov/sites/default/files/hhs-trustworthy-ai-playbook.pdf

・SafetyDetectives「US Charity Exposed Users’ Sensitive Images」(2022年4月28日)

https://www.safetydetectives.com/news/breastcancer-leak-report/

CSAジャパン関西支部メンバー
健康医療情報管理ユーザーワーキンググループリーダー
笹原英司