一种基于大模型与机器视觉的建筑缺陷智能检测与咨询方法及系统与流程

本发明属于建筑质量检测，具体涉及一种基于大模型与机器视觉的建筑缺陷智能检测与咨询方法及系统。

背景技术：

1、随着既有建筑的增加以及对建筑质量的期望不断提高，建筑质量问题日益得到关注。建筑缺陷与财产乃至生命安全息息相关。然而与之对应的是建筑质量事故频出，检测手段需要大量人力及时间，检测效率低下，成本高昂，高度依赖人工经验。因此，如何高效、准确地发现建筑质量隐患，利用专家经验对问题进行及时处理，成为了建筑行业亟待解决的重点问题。随着人工智能及机器视觉技术的发展，出现了一些可以进行建筑质量缺陷图像智能识别的系统和设备，通过对预训练，实现对缺陷图像的智能识别。但这些系统只是对特定缺陷下的图像进行识别，缺少与文本信息进行结合的分析手段，高度依赖训练素材的准确性，导致识别量、识别准确性非常有限，也无法实现对实际问题的灵活分析与应答，继而导致技术的实用性不高。近年来，伴随着生成式人工智能的爆发，基于大数据训练的语言大模型为解决上述问题带来了新的思路。通过图像识别，拾取缺陷特征关键词，结合工程基本信息及自然语言反馈的信息，可为缺陷准确分析与预测提供一种新的解决方案。

技术实现思路

1、为了克服现有技术存在的上述问题，本发明提供一种基于大模型与机器视觉的建筑缺陷智能检测与咨询方法及系统，用于解决现有技术中存在的上述问题。

2、一种基于大模型与机器视觉的建筑缺陷智能检测与咨询方法，所述方法包括：

3、s1.获取建筑缺陷图像及文字数据集；

4、s2.对建筑缺陷图像及文字数据集进行清洗、标注及融合学习，得到处理后的数据集，采用该数据集对大语言模型及基于多重图卷积神经网络的图像智能识别模型分别进行训练、调整及集成，得到建筑缺陷智能检测与咨询平台；

5、s3.根据实时采集的建筑图像、建筑的基本信息在所述平台中进行查找，识别出缺陷并进行预测分析，生成建筑检测报告。

6、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s1包括对建筑缺陷及事故图像、进行收集，对现有建筑检测鉴定报告、论文、专著文献进行归纳总结，对收集到的不同专项、地区、建筑形式下缺陷照片与文字资料进行分类存储。

7、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2中对建筑缺陷图像及文字数据集进行清洗、标注及融合学习，得到处理后的数据集，包括：

8、s21.预清洗图像及文字数据：对建筑缺陷图像及文字数据集进行预清洗，清除关联性不强及不符合相关法律法规的信息；

9、s22.根据标签将图像分割为子图：对清洗后的数据集中的图像特征进行标签标注，根据标签将清洗后的数据集中的图像分割为多张子图，利用多重图卷积神经网络学习子图及对应标签；

10、s23.整理图像多标签关联集：对图像标签集合进行关联度统计分析，将标签设置不同阈值，并将图像分割为邻接子图；

11、s24、邻接子图与标签融合学习：对不同标签间的邻接子图基于特征点进行训练，并进行注意力池化，得到处理后的数据集。

12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2中采用该数据集对大语言模型和图像智能识别模型进行训练、调整及集成，得到建筑缺陷智能检测与咨询平台，包括：

13、s25.获取生成式大语言基本模型及基于多重图卷积神经网络的图像智能识别模型；

14、s26.大语言模型及图像智能识别模型预训练：用s21中预清洗后的文字数据集与s24中处理后的数据集中的图像数据分别对大语言模型及图像智能识别模型进行训练；

15、s27.模型微调：将训练好的大语言模型和图像智能识别模型进行反复测试和调试，直至达到要求的准确率；

16、s28.预测数据库：对典型建筑缺陷数据进行整理，建立典型缺陷预测数据库；

17、s29.功能集成：将训练完成后的图像智能识别模型和大语言模型进行集成，搭建可通过网络访问的建筑缺陷智能检测与咨询平台，以供用户使用。

18、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述建筑缺陷智能检测与咨询平台集成到手持式电子检测设备中，在现场检测场景下，现场检测数据直接通过手持式电子检测设备进行缺陷分析。

19、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s3包括：

20、s31.实时获取建筑检测现场图像；

21、s32.建筑缺陷智能咨询：结合建筑基本信息、建筑检测现场图像及人员对话信息，在大语言模型中进行查找，得到与建筑缺陷相关的知识信息；

22、s33.缺陷预测分析：针对识别出的典型缺陷，利用典型缺陷预测模型，对缺陷发展趋势进行预测分析；

23、s34.生成建筑检测报告：根据工程基本信息及现场检测数据，结合图像识别、智能咨询、缺陷预测结果按照用户预设模板及相关技术标准自动生成建筑检测报告。

24、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s31采用移动设备来实时获取建筑检测现场图像，所述移动设备包括但不限于手机、平板、笔记本电脑和/或头显。

25、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述智能咨询的提问方式包括根据图像识别结果自动提问、图像捕捉设备自动感知、点击预设问题、自然语言语音提问和/或自然语言输入提问。

26、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：所述方法还包括：s4.通过用户反馈对模型进行调整：对于图像识别、智能咨询、预测分析结果开放用户反馈功能，通过获取反馈数据，对所述平台中的模型进行调整；并同时对s3中获取的新数据进行数据整理和学习，将所述平台中的模型进行更新。

27、本发明还提供了一种基于大模型与机器视觉的建筑缺陷智能检测与咨询系统，所述系统用于实现所述的方法，所述系统包括：

28、获取模块，用于获取建筑缺陷图像及文字数据集；

29、生成模块，用于对建筑缺陷图像及文字数据集进行清洗、标注及融合学习，得到处理后的数据集，采用该数据集对大语言模型及基于多重图卷积神经网络的图像智能识别模型分别进行训练、调整及集成，得到建筑缺陷智能检测与咨询平台；

30、分析模块，用于根据实时采集的建筑图像、建筑的基本信息在所述平台中进行查找，识别出缺陷并进行预测分析，生成建筑检测报告。

31、本发明的有益效果

32、与现有技术相比，本发明有如下有益效果：

33、(1)本发明中，采用图像智能识别模型对现场缺陷图像进行智能分析，与人工检测方式相比，效率大幅提升，节省人力。

34、(2)本发明中，通过对图像关联集的学习，降低了图像模型训练时间及资源成本，解决了传统图像训练模式下，对于具有多标签的实际图像识别准确率不高的问题。

35、(3)本发明中，采用生成式大语言模型在经过专项深度训练后，对建筑缺陷问题进行智能咨询，依托自然语言，实现对建筑缺陷的无人值守式互动咨询。

36、(4)本发明中，采用图像智能识别和大语言模型对建筑问题进行联动解决，可分析图像及语言不同信息来源，通过更全面的信息获取，提高缺陷评估的准确性。

37、(5)本发明中，基于大模型与机器视觉的建筑缺陷智能检测与咨询系统可通过移动端进行访问，便于工程实际问题的现场处理，便于与各类手持式电子检测设备结合，提升检测智能性。

38、(6)本发明中，由于大模型具备自我学习的能力，可从用户使用过程产生的数据中不断提取新的图像及语料，对知识库进行不断提升与维护。