人工智能应用系统的威胁建模方法、查询方法及相关组件与流程

本发明涉及人工智能，特别是涉及一种人工智能应用系统的威胁建模方法、威胁查询方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、软件系统通常会面临各种威胁，威胁可以来自组织外部或组织内部，并且可能产生破坏性后果。威胁建模是一种基于工程和风险的方法，用于识别、评估和管理安全威胁，旨在开发和部署符合企业组织安全和风险目标的更好软件和it（informationtechnology，信息技术）系统。

2、随着人工智能（artificial intelligence ，ai）系统应用逐渐成为企业数字化发展的关键组成部分，但人工智能应用面临更多安全风险，因此需要识别和防护人工智能应用系统的安全风险，提高人工智能应用系统的安全性与可靠性。

3、鉴于此，如何实现人工智能应用系统的威胁建模，是本领域技术人员需要解决的问题。

技术实现思路

1、本发明实施例的目的是提供一种人工智能应用系统的威胁建模方法、威胁查询方法、装置、电子设备及计算机可读存储介质，能够实现人工智能应用系统的威胁建模，有利于提高人工智能应用系统的安全性和可靠性。

2、为解决上述技术问题，本发明实施例提供以下技术方案：

3、本发明实施例一方面提供了一种人工智能应用系统的威胁建模方法，包括：

4、根据人工智能应用系统中的各个元素及元素之间的数据流，构建数据流图；所述元素为所述人工智能应用系统中的组件；

5、针对每个所述数据流，确定与所述数据流对应的相关元素；

6、根据预设的各个威胁类型确定与所述数据流及对应的相关元素对应的威胁；

7、制定与所述威胁对应的应对措施；

8、根据各个所述数据流、与所述数据流及对应的相关元素对应的威胁、以及与所述威胁对应的应对措施，生成威胁建模结果。

9、在一些实施例中，所述根据预设的各个威胁类型确定与所述数据流及对应的相关元素对应的威胁，包括：

10、获取所述数据流的内容类型；

11、根据所述数据流的内容类型，确定所述数据流的机密性需求；所述机密性需求为数据信息是否需要加密；

12、根据所述数据流的内容类型，确定所述数据流的完整性需求；所述完整性需求为是否对数据进行完整性保护；

13、获取与所述数据流对应的相关元素的元素信息；

14、根据预设的各个威胁类型，结合所述数据流的机密性需求和完整性需求以及所述相关元素的元素信息，确定目标威胁类型及与所述目标威胁类型对应的各个威胁；

15、其中，各个所述威胁类型包括：

16、仿冒威胁、篡改威胁、抵赖威胁、信息泄露威胁、拒绝服务威胁、权限提升威胁、数据安全威胁和模型安全威胁中的至少两种。

17、在一些实施例中，所述元素信息包括元素类型、元素安全机制、数据网络传输协议、数据传输机制、元素存储类型、存储数据类型及信任边界类型中的一种或多种的组合。

18、在一些实施例中，所述制定与所述威胁对应的应对措施，包括：

19、对所述威胁进行风险评估，确定所述威胁的威胁评分；

20、根据预先建立的威胁评分与威胁等级的对应关系，确定与所述威胁评分对应的威胁等级；

21、根据所述威胁等级，制定与所述威胁对应的应对措施。

22、在一些实施例中，所述对所述威胁进行风险评估，确定所述威胁的威胁评分，包括：

23、预先根据威胁方向、所述威胁方向下不同威胁值对应的威胁结果建立威胁评分表；

24、确定所述威胁在每个所述威胁方向下的威胁结果；

25、根据所述威胁结果，确定与所述威胁方向对应的威胁值；

26、将与各个所述威胁方向分别对应的威胁值累加，得到与所述威胁对应的威胁评分。

27、在一些实施例中，与所述数据安全威胁对应的威胁包括数据投毒攻击、对抗样本攻击和隐私泄露中的一种或多种；

28、和/或，与所述模型安全对应的威胁包括提示注入攻击、成员推理和敏感数据提取、模型萃取以及输出内容合规中的一种或多种。

29、本发明实施例另一方面提供了一种人工智能应用系统的威胁查询方法，包括：

30、获取威胁查询指令；

31、根据所述威胁查询指令获取当前数据流信息；

32、根据所述当前数据流信息确定与所述当前数据流信息对应的当前相关元素；

33、根据所述当前数据流信息和对应的当前相关元素，从预先建立的威胁建模结果中确定出对应的威胁及应对措施；其中，所述威胁建模结果为基于如上述所述的人工智能应用系统的威胁建模方法得到的；

34、将所述威胁及所述应对措施进行展示。

35、本发明实施例另一方面提供了一种人工智能应用系统的威胁建模装置，包括：

36、构建模块，用于根据人工智能应用系统中的各个元素及元素之间的数据流，构建数据流图；所述元素为所述人工智能应用系统中的组件；

37、第一确定模块，用于针对每个所述数据流，确定与所述数据流对应的相关元素；

38、第二确定模块，用于根据预设的各个威胁类型确定与所述数据流及对应的相关元素对应的威胁；

39、制定模块，用于制定与所述威胁对应的应对措施；

40、生成模块，用于根据各个所述数据流、与所述数据流及对应的相关元素对应的威胁、以及与所述威胁对应的应对措施，生成威胁建模结果。

41、本发明实施例另一方面提供了一种人工智能应用系统的威胁查询装置，包括：

42、第一获取模块，用于获取威胁查询指令；

43、第二获取模块，用于根据所述威胁查询指令获取当前数据流信息；

44、第三确定模块，用于根据所述当前数据流信息确定与所述当前数据流信息对应的当前相关元素；

45、第四确定模块，用于根据所述当前数据流信息和对应的当前相关元素，从预先建立的威胁建模结果中确定出对应的威胁及应对措施；其中，所述威胁建模结果为基于如上述所述的人工智能应用系统的威胁建模方法得到的；

46、展示模块，用于将所述威胁及所述应对措施进行展示。

47、本发明实施例另一方面提供了一种电子设备，包括：

48、存储器，用于存储计算机程序；

49、处理器，用于执行所述计算机程序以实现如上述所述人工智能应用系统的威胁建模方法的步骤，或执行所述计算机程序以实现如上述所述的人工智能应用系统的威胁查询步骤。

50、本发明实施例另一方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述人工智能应用系统的威胁建模方法的步骤，或执行所述计算机程序以实现如上述所述的人工智能应用系统的威胁查询步骤。

51、由上述技术方案可以看出，本发明的有益效果在于：

52、本发明实施例提供了一种人工智能应用系统的威胁建模方法，将人工智能应用系统中的组件作为元素，根据人工智能应用系统中的各个元素及元素之间的数据流，构建数据流图，然后再针对每个数据流确定与该数据流对应的相关元素，并进一步根据预设的各个威胁类型确定与该数据流及对应的相关元素对应的威胁，并制定与该威胁对应的应对措施，从而得到与每个数据流及相应的相关元素对应的威胁及应对措施，进一步根据各个数据流、与数据流及对应的相关元素对应的威胁、以及与威胁对应的应对措施，即可生成威胁建模结果；也即，本发明在使用过程中能够实现人工智能应用系统的威胁建模，有利于提高人工智能应用系统的安全性和可靠性。

53、此外，本发明还针对人工智能应用系统的威胁建模方法提供了相应的实现装置、电子设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及计算机可读存储介质具有相应的优点。