⾃動運転システムの総合信頼性と 社会アーキテクチャ構築に ... · 2020. 7. 30. · iso/pas 21448 iso 26262 hmiの設計原則⽂書...

2020年7⽉30⽇ JSAE オンラインフォーラム⾃動運転システムの総合信頼性と社会アーキテクチャ構築に向けて

松原 豊（Yutaka MATSUBARA）名古屋⼤学 ⼤学院情報学研究科 准教授本委員会 副委員⻑DEOS協会 ⾃動⾞応⽤部会 主査

E-mail︓[email protected]︓https://www.ertl.jp/~yutaka

1

⾃⼰紹介本務• 名古屋⼤学 ⼤学院情報学研究科

情報システム学専攻 ⾼⽥・松原研究室 准教授未来社会創造機構 モビリティ社会研究所 准教授附属 組込みシステム研究センター 協⼒教員

その他主な役職• ⾃動⾞技術会 共同研究センター ⾃動運転に係わる総合信頼性の継続的確

保に向けた標準化検討委員会 幹事• NPO法⼈ TOPPERS プロジェクト運営委員• (⼀社)ディペンダビリティ技術推進協会 ⾃動⾞応⽤部会 主査• 電⼦情報通信学会情報セキュリティ 情報セキュリティ 研究専⾨委員• セキュリティキャンプ全国⼤会 講師• 技術アドバイザ（組込み関係企業）主な産学連携研究プロジェクト• University of York, Assuring Autonomy International Programme,

「Towards Identifying and closing Gaps in Assurance of Autonomous Road Vehicles (TIGARS)」研究メンバ

• 平成29年度戦略的基盤技術⾼化⽀援事業「⾃律的⾃動運転の実現を⽀える⼈⼯知能搭載システムの安全性⽴証技術の研究開発」サブリーダ

2

概要

• ⾃動運転システムの安全性評価に関して，国連WP.29，主要地域（⽇本，⽶国，欧州，中国等）で，法規，標準，ガイドラインなどの議論が進⾏中である

• 本講演では，⾃動運転システムの総合信頼性確保に向けて，最新動向と社会アーキテクチャ構築に向けた活動を紹介する

• ⾃動⾞メーカ，サプライヤ，サービス提供社，利⽤者が，⼀体となって⽬指す，⾃動運転システムの総合信頼性について，リスク管理と説明責任の観点から考える

3

⾃動⾞制御システムの開発・運⽤の現状と課題

対象システムの⼤規模化と変化への対応• 開発段階ですべての要求を満たすよう努⼒がなされる

が，⼤規模化，複雑化によって困難な場合も• 運⽤段階における変化への対応も想定サービス中⼼のビジネスモデルへの変化• 個々の組込みシステム（機器）の開発から，⼈間，ク

ラウド，環境などと連携・連動するサービスへ• SoS（System of Systems）によるサービス提供⾮機能要件に対する重要性の維持・⾼まり• 利⽤者が求める信頼性，安全性やセキュリティ等の⾮

機能（総合信頼性）要件の重要性は不変• ⼀⽅で，開発，運⽤では低コスト化も要求される

4

摺り合わせによって⾼い安全性や品質を確保してきた⾞載制御システム（特にソフトウェア）の開発指針の転換点

総合信頼性の対象となる品質の広がり

引⽤︓⽇本規格協会, 標準化と品質管理, 2017年4⽉号

⾃動⾞において特に重要かつ深く関係する性質（今の国際標準化はこの範囲）

総合信頼性の定義アイテムが，要求されたときに，その要求どおりに遂⾏するための能⼒。アベイラビリティ，信頼性，回復性，保全性，及び保全⽀援性能を含む。適⽤によっては，耐久性，安全性及びセキュリティのような他の特性を含むことがある。

引⽤︓JIS Z 8115:2019

5

総合信頼性の対象となる品質の広がり

引⽤︓⽇本規格協会, 標準化と品質管理, 2017年4⽉号

社会が要求する品質→受容性の指標

（ただし，これも変化）

6

⾞載制御システム開発の関連規格

ISO9001

ISO/IEC15504

ISO/IEC33K series

IEC61508

⾞両領域（OEM）

ECU領域（サプライヤ）

IATF16949

品質管理システム

A-SPICE

プロセス評価フレームワーク

ISO26262

E/E/P向け機能安全

安全ライフサイクル

ISO/SAEDIS

21434

サイバーセキュリティ

上位規格

品質の維持・向上ディペンダビリティ

（安全性，セキュリティ）の維持・向上

7

ISO/PAS

21448

ハザードとそれらをカバーする規格の対応

8

根本原因の存在 原因 カバーする規格

対象システム

電気電⼦システムの故障 ISO 26262性能限界状況の認識不⾜（誤使⽤かどうかに関係なく）

ISO/PAS 21448

合理的に予⾒可能な誤使⽤，不正確なHMI（例︓利⽤者の混乱や過負荷）

ISO/PAS 21448ISO 26262HMIの設計原則⽂書

システム技術に起因するハザード（例︓レーザセンサによる⽬の負傷）

別規格

外部要因

⾞両のセキュリティ脆弱性に対する攻撃 ISO 21434 or SAE J3061

⾞両外部（V2I, V2V, 外部機器，クラウド）による影響

ISO 20077/20078ISO 26262

⾃動⾞周辺（別の利⽤者，受動的なインフラ，天気などの環境条件，電磁インタフェース…）

ISO/PAS 21448ISO 26262

ISO/PAS 21448:2019 Table 1

⾃動運転（Autonomous）・共有（Shared/Services）に関連する実証実験

9

多様な⾃動運転

10

⾼速道路 ⼀般道 バス 地域限定移動速度 80-100km/h *1 低速〜60km/h 低速〜60km/h 低速（〜

20km）ルート 任意の⾼速道路 固定，変動 固定 固定

⾃動運転レベル

レベル2〜3 レベル3〜4 *2 レベル4 *2 レベル4 *2

運⽤形態 ⾃動⾞所有者 サービス提供者（タクシー，MaaS）⾃動⾞所有者

バス会社バス利⽤会社

地域コミュニティ⾃治体

実⽤化 レベル2は実⽤化，レベル3は2020年度以降に実⽤化*1

現時点では固定ルートで実験，任意ルートは現時点でも困難

実証実験段階 実証実験段階

*1 機能有効範囲や速度を制限している場合が多い（例えば，渋滞時に有効）*2 レベル４を⽬指しているが，実証実験ガイドラインに従って，ドライバや遠隔監視・制御を⾏っている

先進機能を持つ⾃動⾞の相次ぐ事故

11

運転⽀援システム作業中に運転者が監視を怠ったことによる事故

Emergency personnel work a the scene where a Tesla electric SUV crashed into a barrier on U.S. Highway 101 in Mountain View on March 23.KTVU

https://www.sfchronicle.com/business/article/Exclusive-Tempe-police-chief-says-early-probe-12765481.php

運転⽀援システム（のセンサ）は検出していたが，⾞速やブレーキが制御されなかった（横切る歩⾏者は想定外︖）

実証実験でも…

12

⼀般市⺠は⾃動運転を受容している／するか︖開発者は受容性を意識した開発をしているか︖

引用：https://www.tokai-tv.com/tokainews/article_20190826_95273

引⽤︓TBS

⾃動運転システムの安全性に関する基本的な指針

国連での議論

国⼟交通省の安全ガイドライン

Safety Vision の抜粋automated vehicle systems, under their operational domain (OD), shall not cause any traffic accidents resulting in injury or death that are reasonably foreseeable and preventable

⾃動運転⾞の運⾏設計領域(ODD) において、⾃動運転システムが引き起こす⼈⾝事故であって合理的に予⾒される防⽌可能な事故が⽣じないこと

国⼟交通省⾃動⾞局，⾃動運転⾞の安全技術ガイドライン，平成30年9⽉

Framework document on automated/autonomous vehicles, WP.29-177-19, Mar. 2019

13

⾞両レベルの安全性の最低ライン

⾃動運転システムの安全性評価，論証に関する活動⽇本 欧州 北⽶

基本的な考え⽅（ビジョン）

⾃動運転⾞の安全技術ガイドライン, 国⼟交通省⾃動⾞局, 2018年9⽉

Europe on the Move: Commission completes its agenda for safe, clean and connected mobility, May 2018

• AV 3.0, NHTSA, Oct 2018• AV 4.0, NHTSA, Jan 2020

安全の原則

Guidelines on the exemption procedure for the EU approval of automated vehicles, Feb 2019

• AV 2.0, NHTSA, Sep2017

• SAE J 3206

安全基準改正道路運送⾞両法保安基準, Apr 2020

the German Road Traffic Code Straßenverkehrs-Ordnung, Nov 2016 (独)

• Federal Motor Vehicle Safety Standards

開発・評価⼿法開発，実証実験等

• 内閣府SIP• JAMA安全性論証

WG• SAKURA Project• 各種実証実験• ・・・

• AdaptIVe• Pegasus• SaFAD• L3Pilot• SetLevel4to5• V&V Method• ARCADE

• ⾃動運転技術の研究開発から，企業主体の実運⽤へ

• 安全性の説明は，基本的には各社責任→ANSI/ULによる標準化

各国で技術的な議論と，法整備が平⾏して進⾏中主に，開発段階での安全評価⼿法にフォーカス

14

WP.29Safety Vision

⾃動運転システムの安全性評価，論証に関するプロジェクト・標準化状況

Sakura Project(⽇本)

Pegasus(独)

SaFAD(独, Baidu, intel)

ANSI/UL 4600(⽶国)

安全ビジョン（Safety Vision）

合理的に予⾒される防⽌可能な⼈⾝事故が⽣じないこと

• 必要条件︓安全規格に従って開発

• ⼗分条件︓PRB

標準的な運転者の性能と⽐較しPRBを達成

-

安全⽬標（What）

熟練された運転者が避けられる事故は，ADSでも回避

テストコンセプトは，少なくとも⼈間の運転性能は達成

12の安全原則(多くの公的認証機関，消費者団体の⽂書を引⽤)

-（許容可能なリスクレベル定義は対象外）

V&V⼿法，プロセス（How）

• 交通障害テストシナリオを作成

• シミュレーションでシナリオ上のパラメータを振り，網羅的に判定

• 事故発⽣状況を⼈間とADSで⽐較

• Pegasus methodを規定

• ライフサイクル全体をカバーするが，詳細までは未規定

• 既存３規格に基づく，ディペンダビリティ

• 設計指針• 安全アーキテクチャ• V&V戦略• ４機能の開発例と

DNN開発が付録

-（安全機能の設計，プロセスは対象外）

論証（Assurance）

• シミュレーション結果

• 具体的な論証⽅法は未規定

• Pegasus method の実施中に⽣成される成果物

• 具体的な論証⽅法は未規定

• 12安全原則，設計，V&Vとのトレーサビリティ

• 具体的な論証⽅法は未規定

• ライフサイクル全体で，記載すべき内容を明確に記載

• 表現⽅法（GSNやCAE等）は未規定

標準化への貢献• ALKS事例がVMAD

のAnnex Xに• ISO/WD 34502

• OpenXとしてASAM→ISOへ︖

• ISO/CD TR 4804 • 安全２規格との併⽤を意識（対応付けがAnnexにあり）

15

各国で技術的な議論と法整備が進み，標準化のフェーズに⼊っている

国際的な動向のポイント

• ⽇本が⽬指す安全の⽬標は，世界的にも⾼く（GAMAB的考え⽅），ADSのV&V⼿法も（ALKSについては）具体性や網羅性が⾼い（と思われる）• シナリオベースの考え⽅⾃体は，各国で検討中• ⼤量の実データに基づく網羅性の違いは⼤きい（⼀⽅で，

検証コストも⾼い）• 欧州では，Pegasusの成果が，ASAM（標準化）やSaFAD→ISO TRに発展• PRBの達成を掲げながら，合理的なレベルでのV&Vを⽬

指す（ALARP的考え⽅）• 北⽶は，安全性に関して，論証すべき項⽬をUL4600として標準化（安全２規格との併⽤を想定）

• 欧州メーカとサプライヤは，北⽶企業を巻き込みながら，SaFAD＋UL4600の併⽤を推進• TTTechがThe Autonomousを⽴ち上げ

• https://www.eetasia.com/av-bringing-standards-together-for-safety/

16

補⾜︓リスク受容における多様な考え⽅

名称 考え⽅As Low as Reasonably Practicable (ALARP)

合理的に実現可能な範囲内でリスクを出来る限り低減させる，という考え⽅。対策コストも，合理的な範囲でなければならない 。

minimum endogenous mortality (MEM)

「最低内因死亡率」以下にリスクを下げるという考え⽅。最低内因死亡率は，事故及び先天的奇形の影響を除く⾃然死亡率で，最低のもので，先進国においては10歳前後（5〜15才）の⾃然死亡率（2×10-4⼈/年）を採⽤することが多い。死亡だけでなく，負傷の影響を考慮する場合は，その確率も追加で考慮する。

Globalement au moins aussi bon (GAMAB)

従来（もしくは既存の類似製品）と⽐較して，システム全体として少なくとも同等のレベルまでリスクを低減する，という考え⽅。

17

補⾜︓リスク受容における多様な考え⽅

P. Junietz, U. Steininger, H. Winner, Macroscopic safety requirements for highly automated driving, TRR 1–10, © National Academy of Sciences, Transportation Research Board 2019, DOI: 10.1177/0361198119827910, https://journals.sagepub.com/eprint/9NjEFpXRdJjp3NrtbDSA/full]

mortality risk in the order of 10–5 per person and year,for example by professional associations and insurancecompanies, on the one hand. On the other hand, job-related risks are useful in bridging the gap between vol-untary and involuntary risks.

Fritzsche found that for involuntary risk, for examplethe death of passengers resulting from a train or airplanecrash, the acceptance level is an order of magnitude lowerthan for job-related risk. Moreover, acceptance decreasesanother order of magnitude if the risk is caused by majortechnology, for example, the chemical industry or fromnuclear power generation. Besides the personal benefit ofthose technologies being low (at least from a subjectivepoint of view), the low degree of self-determination, orrather controllability, for individuals plays an importantrole in the low acceptance level in addition to the

potentially high number of mortalities (severity).Nevertheless, Figure 2 shows that it is generally possibleto manage risk, risk perception, and acceptance in aquantitative manner.

To implement safety requirements based on riskacceptance, several concepts have been developed in dif-ferent application areas. Because of the relationshipbetween the railway and road traffic, it is useful to referto the CENELEC safety standard EN 50126. The devel-opment of this standard was started in the 1990s: safetyrequirements based on quantitative risk analysis wereimplemented and ‘‘as low as reasonably practicable’’(ALARP), ‘‘minimum endogenous mortality’’ (MEM),and ‘‘Globalement au moins aussi bon’’ (GAMAB) wereintroduced as principles of risk acceptance.

As Low as Reasonably Practicable (ALARP). ALARP tries toassess what is technically feasible in relation to economicsense and social acceptance. Between the two regions ofgenerally unaccepted and broadly accepted risk, there isa tolerance range in which risk is undertaken only if abenefit is desired and for which each risk must be madeALARP.

Risk limits cannot be derived directly from EN50126,because it failed to give certain values for generally unac-cepted and broadly accepted risk. However, otherauthors, for example Risk and Reliability Associates,deliver both values (25): The two key levels seem to liearound road death statistics (about 10–4 per person andyear) and the chance of being struck by lightning (about10–7 per person and year). If something is more danger-ous than driving a car, the risk is unacceptable. If some-thing is less dangerous than being struck by lightning,then we do not expect anyone to do anything about it.In the range between these two figures, cost-benefit stud-ies are appropriate to reduce the risk to ALARP. The

Figure 1. Left: illustration of risk; right: quantitative accident risk on German highways (14, 15).

Figure 2. Application of different risk acceptance principles tohighway accidents, translated from Steininger and Wech (24),based on work by Fritzsche (12). Globalement au moins aussi bon(GAMAB) is based on the risk on German controlled-accesshighways. The principles Minium endogene ous mortality (MEM)and As low as reasonably possible (ALARP) are applicable in allkinds of technology.

Junietz et al 3

欧州規格のEN 50126では，技術システムにおいては，1/20 * MEM を越えてはならないという規定がある

18

ISO 21448を基にした社会アーキテクチャ案

19

⾃動運転システム（サービス）開発活動（ハザードの識別とリスク評価）

サービス運⽤

事故，ヒヤリ・ハッと，新リスク発⾒

原因分析

対応処理

事故防⽌⻑期的な対応

環境の変化（法規，技術進化，社会情勢）

開発段階

サービス運⽤段階

リスク受容

即時的な対応⻑期的な対応

リスク低減

⼀部の要素をISO 21448 CDへの修正提案済

社会・司法・研究機関・利⽤者

保守担当・サービス提供会社・⾃動⾞メーカ・ディーラ

開発メーカと利⽤者

開発メーカとサプライヤ

社会が納得する⾃動⾞の⾃動運転技術

既存３規格への準拠は必須• ⾃動⾞市場や⾃動運転レベルによらず，３規格への対応は必須

今後の議論ポイント• 許容リスク度に応じた，製品，サービスの開発，投⼊の戦略

• ⾃動運転レベルに応じたリスクの考え⽅• 情報公開と説明責任

20

議論︓許容リスク度に応じた製品，サービスの開発，投⼊の戦略• ⽇本の⽅向性︓⾼い安全⽬標と作り込み

• （当然）コストは⾼まるが，達成できた場合には，⾼い商品価値に繋がるはず…

• 許容リスク度の⾼い地域に，付加価値の⾼いサービスを先⾏して投⼊• 完成度を⾼めた後，許容リスク度の低い地域へ

• 同⼀地域内でも，リスク許容度の⾼い利⽤者に，付加価値の⾼いサービスを先⾏して投⼊• 利⽤者の許容リスク度を意図的，かつ過剰に下げようとする試みは逆効果（適度に恐れてもらう，個⼈で判断する情報を提供する）

• ゼロリスクの選択を妨げない（使いたくない，近くを⾛⾏したくないを許容）

作り⼿と利⽤者間の許容リスクに関するギャップの認識と説明（リスクコミュニケーション）の仕組み

21

議論︓⾃動運転レベルに応じたリスクの考え⽅

• L3以下では運転者に事故の責任• L1〜L2はすでに普及段階にあるので，これらと⽐較して，リスクが⾼まることは許容し難い（GAMAB的発想）

• L4〜L5はシステムに事故の責任• 利⽤者のメリットとリスクとのバランス

（ALARP的発想が必要ではないか︖）• 事故発⽣だけでなく，信頼性，可⽤性の低下も

利⽤者に理解，許容してもらう説明• 開発プロセスの複雑化，⼤規模化，⾼価格化に伴う，産業構造の変化対応，組織間での合意，技術者への負荷増加への考慮が必要• ⾃動運転で交通事故が減る⼀⽅で…

社会全体でのリスクバランス（PRB）を把握する仕組み

22

議論︓情報公開と説明責任

• 開発組織（メーカ，サービス提供会社）への信頼を維持，継続することが重要

• 適切な情報公開と説明• ⾃動運転技術の複雑さ，完全性の実現困難さ• 故障や事故，サービス停⽌などの経過情報• 組織の判断結果（例えば，トラブル後のサー

ビスの再開）に加えて，議論の経過，判断基準や数値⽬標

利⽤者（個⼈）の判断を⽀援し，⻑期的に，理解と安⼼性の向上を⽬指す仕組み

23

まとめ

• ⾃動運転システムの総合信頼性確保に向けて，最新動向を紹介した

• ⾃動⾞メーカ，サプライヤ，サービス提供社，利⽤者が，⼀体となって⽬指すべき⾃動運転システムの総合信頼性実現のための社会アーキテクチャ案を提⽰

• 今後，仕組み化すべき３つのポイント• リスクコミュニケーション• リスクバランスの把握と可視化• 作り⼿組織の信頼性維持・向上のための情報

公開と説明

24

⽤語集

25

⽤語 内容安全２規格 ISO 26262, ISO/PAS 21448既存３規格 安全２規格に，セキュリティのISO DIS 21434を加えた３規格Positive Risk Balance︓PRB

リスクは残るものの，最終的に，⼈間の能⼒と⽐較して社会的な被害が減ること（社会にとってプラス）を⽬指す考え⽅

ALKS Automated Lane-Keeping SystemsADS Automated Driving Systems WP.29 World Forum for Harmonization of Vehicle RegulationsGRVA Working Party on Automated/Autonomous and Connected

Vehicles，WP.29下の活動の１つVMAD Validation Method for Automated Driving，

UNECE WP.29下のワーキンググループGRVA下の活動の１つ

参考⽂献

• ISO/WD 34502, Road vehicles ̶ Engineering framework and process of scenario-based safety evaluation

• ANSI/UL 4600 Standard for Evaluation of Autonomous Products, April 2020

• AV 4.0, Ensuring American Leadership in Automated Vehicle Technologies Automated Vehicles 4.0, NHTSA, Jan. 2020

• AV 3.0, Preparing for the Future of Transportation: Automated Vehicles 3.0, Oct 2018

• AV 2.0, Automated Driving Systems: A Vision for Safety 2.0, Sep 2017

• Pegasus project, https://www.pegasusprojekt.de/en/pegasus-symposium-2019• 3.1 Japanese AD Safety Assurance Investigation for Global

Industry Harmonization (Satoshi Taniguchi, Toyota)• 29 Safety Argument

26

参考⽂献

• 改正道路運送⾞両法保安基準, Apr 2020• https://jidounten-lab.com/u_mlit-safety-standard-sticker

• Europe on the Move: Commission completes its agenda for safe, clean and connected mobility• https://ec.europa.eu/commission/presscorner/detail/en/IP_

18_3708• European Commission, 2018. On the Road to Automated Mobility:

An EU Strategy for Mobility of the Future. • https://eur-lex.europa.eu/ LexUriServ/LexUriServ.do?uri=COM:2018:0283:FIN:EN:PDF.

• Dasom Lee and David J.Hess, Regulations for on-road testing of connected and automated vehicles: Assessing the potential for global safety harmonization, Jun 2020• https://www.sciencedirect.com/science/article/pii/S0965856

419308006

27