基于倾斜摄影的河流宽窄检测方法

本发明属于无人机检测应用，具体涉及一种基于倾斜摄影的河流宽窄检测方法。

背景技术：

1、河流广泛分布在我们生活的环境中，其中大江大河是重要的航运通道，我国还积极利用河流的落差建设了众多的水电站。河流在维持生物多样性、调节气候和净化水质方面有着重要的生态价值，而作为城市的供水来源，主干河流发挥着不可替代的作用。

2、相较于大江大河，小河流虽然规模较小，但在生态、经济和社会等方面同样具有独特的价值。在我国大多数乡村地区，一条小河流往往是村民们生活和生产用水的重要来源，他们依靠小河流的水灌溉农田、喂养家畜。小河流还是许多小型水生生物和两栖动物的栖息地，小河流周边的湿地和植被也为鸟类提供了觅食和栖息的场所。

3、河流作为重要的自然资源和地形，对其及周围环境进行系统性监测和评估是非常重要的。通过水质监测来发现河流水质的变化，包括水体的污染物含量、溶解氧水平、ph值等。在水文学参数测量中，获取河流水位、流速、流量等水文学参数，以了解河流的水动力学特性；这些参数对于洪水预警、水资源分配和水电站运营管理具有重要意义。在地形和地貌测绘中，通过测量河道的宽度、深度和地形特征，建立河流的地形模型；为河道的管理、防洪设计和土地利用规划提供依据。同时，我们还通过生态系统监测，了解河流周围的生态系统；通过监测河流的洪水、干旱、地质灾害等自然灾害，及时评估其对人类和生态系统的影响；通过收集和分析河流监测数据，制定可持续的水资源管理策略，保证水资源的有效利用和供应。

4、一方面，在河流的水文数据中，河流宽度是一个最基础的数据，如申请号为202010662956.3的中国发明专利，利用相关仪器等先测量出河流的宽度，再基于河流中间表面速度与河宽关系的河流流量预测方法，来测得河流的流量。申请号为201810429322.6的中国发明专利，其在数字地图中量取样本河道栅格单元内的河道宽度，进而结合库区河道栅格单元的边坡坡度和增加的水深计算库区河道栅格单元由于大坝的建造所增加的水面宽度。

5、除了上述通过数字地图这种先验数据获取河宽，现有技术中，往往通过遥感和地理信息系统的应用来对河流宽度进行检测，如申请号为202310573885.3的中国发明专利，其公开了一种基于遥感数据的河道复式断面水位观测方法，需要获取所观测河道断面的遥感影像，根据该遥感影像中绿波段、中红外波段遥感反射率来识别水体，并根据所指定的河面像元个数通过一确定的比例关系来获取河面宽度。

6、城市周边的重要河流，往往可以收集卫星对其所拍摄的遥感影像。但分布最为广泛的众多上游乡村、山区的小河流，难以通过卫星遥感对其各分段进行覆盖性的监测。相对于卫星遥感，无人机在河道监测方面有许多优势。无人机的运营成本通常低得多，它们可以在较短的时间内完成复杂的任务，从而降低数据采集和分析的整体成本。无人机可以搭载高分辨率的摄像头和传感器，能够捕捉细节丰富的航拍图像和视频。无人机可以迅速部署并在短时间内完成航拍任务，具有更高的灵活性和响应速度，这使得在紧急情况下如洪水监测时能够快速获取关键的地理信息。另外，无人机可以轻松覆盖大范围的地理区域，即使是难以到达的或地形复杂的地区也能有效地进行监测和数据采集。

7、另一方面，调查表明，河流宽度是影响河流形态的关键因素之一。我国是一个多山国家，宽窄相间的河流形态与水位陡涨的洪水过程相互作用，常导致河滩地水位漫滩或决口而淹没成灾，造成严重的人员伤亡和经济损失。申请号为201910834310.6的中国专利申请，其公开了一种基于山区河流形态与洪水位变化的宽窄相间河段山洪淹没灾害易灾区识别方法，其说明了宽窄相间河宽渐变将引起水深和流速的变化，最窄处水深降到最低，流速最大。由于流速大，在河流的最窄处，其对河岸的冲刷力度也最强，最容易发生决口危险。

8、在我国最广分布的乡村地区特别是山区，河流的宽窄变化情况，对水流监测、山洪易灾区识别、水利基础设施建设等有基础的依据作用。在水利工程规划中，确定河流宽度最小的位置对于建设桥梁、水坝等设施具有重要意义，可以根据河流宽度来优化工程设计，降低建设成本和施工难度。对于河道整治和防洪工程来说，找到河流最窄处能够更精准地规划堤岸的布局和加固措施。

9、无人机作为一种低成本、易于快速部署的平台，非常适合进行小河流的场景采样。而即使对于无人机飞行本身，在河流区域飞行时，河流最窄的地方通常意味着无人机需要飞越的距离较短，从而减少了电池消耗和飞行时间，降低了因电池电量不足而坠机的风险。因此，识别河流的最窄处，对无人机飞越河流也具有重要的参考意义。

10、为此，需要一种易于部署、基于无人机倾斜摄影，且能自动检测识别河流宽窄的方法及系统。

技术实现思路

1、本发明的目的在于提供一种基于倾斜摄影的河流宽窄检测方法、飞行控制方法及系统，用于根据无人机视野中的图像来对河流的特征进行提取、识别、并找到和标识河流最窄位置，并通过河流方向的识别进行飞行控制和图像采样。

2、为解决上述技术问题，本发明提供一种基于倾斜摄影的河流宽窄检测方法，其包括以下步骤：

3、s1、初始化，建立河流目标识别网络；

4、s2、以倾斜摄影在某一高度和俯仰角下采集横轴近似平行河流走向的河流流域图像即横轴近似平行河流走向的倾斜摄影图像；

5、s3、用所述河流目标识别网络对所采集的河流流域图像进行识别，用锚框框选出包含河流的roi区域；

6、s4、根据所述roi区域中心部分的颜色空间特征，将河流流域图像中颜色空间特征与之相似的像素点作为前景对象，以非前景对象区域作为背景对象；

7、s5、在前景对象中，根据像素连通性，找到最大连通域作为河流水体区域，以所述河流水体区域为前景对象，非前景对象全部置零，形成二值化河流水体图像；

8、s6、根据对河流流域图像采集时的高度和俯仰角获取逆透视变换矩阵，基于所述逆透视变换矩阵将所述二值化河流水体图像转换为河流现实二值图；

9、s7、对所述河流现实二值图进行边缘检测获得河流边缘图像，基于启发式搜索，在所述河流边缘图像中获得河流两侧断边直线；

10、s8、在河流边缘图像中，以两条所述断边直线的端点为界，分割出两条河岸边缘线；

11、s9、遍历任意两个属于不同所述河岸边缘线的点之间的距离，搜索获得两岸间的最小距离；

12、s10、以所获最小距离作为河流最小宽度，以所述最小距离对应的两个岸点为河流最窄处，输出所述最小宽度和两个岸点位置；

13、s11、检测有无退出指令，若有则转步骤s13，否则转步骤s12；

14、s12、待宽窄检测指令触发后转步骤s2；

15、s13、结束河流宽窄检测。

16、作为优选，所述步骤s2中，以倾斜摄影在某一高度和俯仰角下采集包括河流的河流流域图像；所述步骤s5还包括：判断当前航向是否已调整，若是则转步骤s6，否则转步骤t1；

17、t1、对所述二值化河流水体图像进行边缘检测，获得水体边缘图像；

18、t2、对所述边缘图像进行霍夫线变换后获得几条最长的直线段，形成初始候选河岸直线集；

19、t3、基于启发式搜索，从所述初始候选河岸直线集中，搜索出方向角度接近、且相互距离最大的两条直线段，作为两岸线段；

20、t4、在所述两岸线段中的任一条直线段上各取两个参考点，两两连接分属不同直线段的参考点形成第一参考线段、第二参考线段并使得该两条参考线段的交点位于所述最大连通域之外；

21、t5、分别求所述第一参考线段、第二参考线段的中点，并以所获两个中点的连线形成河流走向直线；

22、t6、计算所述河流走向直线的方向，作为河流走向，转步骤s2。

23、作为优选，所述步骤t6还包括：获取图像横轴与所述河流走向直线的夹角数据，并根据所述夹角重新调整图像采集单元的方位后，转步骤s2获取所述横轴近似平行河流走向的倾斜摄影图像。

24、作为优选，所述步骤t3中，还包括：在所述初始候选河岸直线集中，若存在两条河岸直线段方向角度小于一个很小的拟合角度阈值、且其相近端点也接近的两条或多条直线段，可以将其近似拟合为一条河岸直线段。

25、作为优选，所述步骤t3中，所述相互距离为两条直线段中其中任一条线段上各点到另一条线段上各点间实际距离的最小值；其中，一点到一条目标线段上各点间实际距离d的计算方法为：若该点到目标线段任一端点的连线与该目标线段成钝角，则实际距离d取值为该点到该端点的距离；否则，实际距离d取值为该点到该目标线段的垂直距离即垂距。

26、作为优选，所述步骤t4中，所述参考点取为所述两岸线段的端点；且在形成所述第一参考线段、第二参考线段时，任一参考点与相异直线段中较近的参考点相连。

27、作为优选，所述步骤s4还包括：在所述roi区域矩形所对应两对角线的交叉点附近的小矩形块中设定一种子区域，在种子区域中提取颜色三通道各自的取值区间，确定颜色阈值分别对应为三基色的阈值区间；将灰度值符合所确定三基色阈值区间的像素作为前景对象。

28、作为优选，所述步骤s4还包括：在所述roi区域矩形所对应两对角线的交叉周围选择一个种子点，通过漫水填充处理将河流水体区域从所述河流流域图像即倾斜摄影图像中提取出来，作为前景对象。

29、作为优选，所述步骤s1还包括：建立一个基于yolov5s网络的河流目标识别网络，采用俯瞰相机采集河流流域图像即河流场景图像后，以标注了河流区域的所述河流场景图像组成的图像样本集来对所述网络进行离线训练，获得河流目标分类模型。

30、作为优选，所述步骤s7还包括：对所述河流边缘图像进行霍夫线变换，提取出直线集；在所述直线集中筛选出与横轴夹角最大、且长度最长的两条直线，作为河流两侧的断边直线。

31、作为优选，所述步骤s8还包括：将所述河流边缘图像中的边缘点以循环链表表示；根据两条所述河流断边直线的端点，从所述循环链表中分割出所述河流断边直线之外的两条独立链表，形成两条河岸边缘线。

32、作为优选，所述步骤s9还包括：以两条所述河岸边缘线中的一条为参考河岸、另一条为对向河岸；对所述参考河岸中的每个点，计算其与对象河岸中每个点的欧氏距离，遍历搜索出最小距离作为河流最小宽度并标识出对应的两个分别位于参考河岸、对向河岸的河岸点。

33、作为优选，所述步骤s5还包括：对所述二值化河流水体图像，进行先膨胀再腐蚀的形态学闭运算，以清除水体连通域中的干扰点。

34、作为优选，所述步骤s8还包括：以循环链表对河流边缘图像中的边缘点进行表示时，根据边缘点的连通性，以横轴坐标连续单向变化为优先顺序对边缘点进行排列并形成链表。

35、作为优选，所述步骤s9还包括：对所述参考河岸中的每个当前岸点，所述岸距测算模块在对向河岸链表中以当前岸点的横坐标作为索引找到同横坐标的对岸基准点，以所述对岸基准点前后各k个点作为候选点；对所述当前岸点，仅计算其与所述候选点之间的距离，并更新最小距离。作为优选，水体流动平缓情形下，河流两岸距离变化不是很剧烈时，河宽距离远大于单像素距离，因而可以通过同横坐标岸点之间的纵坐标差值来表示两岸点的距离。

36、作为优选，所述步骤s10还包括：通过定位单元获取当前河流所在位置的坐标信息和方位信息，在检测出河流最窄位置后，输出所述河流宽度及对应坐标和方位信息。作为优选，经透视变换后，在原图像中标出；并在图像中标出方位、地理位置点，输出河流最窄处信息。

37、作为优选，所述步骤s10还包括：在分段进行河流场景倾斜摄影图像采集后，对每一段中的最窄处宽度，计算其与平均河宽的比例，当该比例值小于一设定比例阈值时，发出告警，提示该处河宽显著收窄。

38、作为优选，所述步骤s10还包括：在分段检测出河流宽窄情况后，还将每段河流最窄信息标识在河流图像的对应位置，如可以用直线标识最窄处的两个岸点及最窄渡河直线；作为优选，还将所获取的坐标及位置信息，以及所述河流分段最窄信息，存入存储模块的列表中，并可将所述列表信息存储到云服务器中。

39、在本发明的另一个实施例中，还提供一种基于倾斜摄影的河流宽窄检测飞行控制方法，包括以下步骤：

40、r1、初始化，建立河流目标识别网络，赋值航向已调整变量为非；

41、r2、以倾斜摄影在某一高度和俯仰角下采集河流流域图像；

42、r3、用所述河流目标识别网络对所采集的河流流域图像进行识别，若识别出有河流，则用锚框框选出包含河流的roi区域并转步骤r4；否则继续飞行并待下一周期到时转步骤r2；

43、r4、根据所述roi区域中心部分的颜色空间特征，将河流流域图像中颜色空间特征与之相似的像素点作为前景对象，以非前景对象区域作为背景对象；

44、r5、在前景对象中，根据像素连通性，找到最大连通域作为河流水体区域，以所述河流水体区域为前景对象，非前景对象全部置零，形成二值化河流水体图像；

45、判断航向已调整变量是否为真，若是则转步骤r6，否则转步骤tr；

46、tr、基于二值化河流水体图像，提取水体边缘并经霍夫线变换获得几条最长的直线段，从中搜索出方向角度接近、且相互距离最大的两条直线段作为两岸线段；在所述两岸线段中的任一条直线段上各取两个参考点，两两连接分属不同直线段的参考点形成第一参考线段、第二参考线段并使得该两条参考线段的交点位于所述最大连通域之外；分别求所述第一参考线段、第二参考线段的中点并以所获两个中点的连线形成河流走向直线；

47、调整无人机航向直至其与所述河流走向直线的法向一致，并使倾斜摄影图像采集的光轴其在水平面上的投影与无人机航向相同；

48、赋值航向已调整变量为是，并转步骤r2；

49、r6、根据对河流流域图像采集时的高度和俯仰角获取逆透视变换矩阵，基于所述逆透视变换矩阵将所述二值化河流水体图像转换为河流现实二值图；

50、r7、对所述河流现实二值图进行边缘检测获得河流边缘图像，基于启发式搜索，在所述河流边缘图像中获得河流两侧断边直线；

51、r8、在河流边缘图像中，以两条所述断边直线的端点为界，分割出两条河岸边缘线；

52、r9、遍历任意两个属于不同所述河岸边缘线的点之间的距离，搜索获得两岸间的最小距离；

53、r10、以所获最小距离作为河流最小宽度，以所述最小距离对应的两个岸点为河流最窄处，输出所述最小宽度和两个岸点位置；

54、r11、检测有无飞越河流指令，若有，则将所述最窄处两个岸点中最近的一个作为目标点，向该目标点飞行；之后，将无人机航向偏转为所述目标点指向另一个所述岸点的方向，沿最窄过河线段飞越河流；

55、r12、检测有无退出指令，若有则转步骤r14，否则转步骤r13；

56、r13、待宽窄检测指令触发后转步骤r2；

57、r14、结束河流宽窄检测飞行控制。

58、作为优选，所述步骤tr包括：tr1、对所述二值化河流水体图像进行边缘检测，获得水体边缘图像；

59、tr2、对所述边缘图像进行霍夫线变换后获得几条最长的直线段，形成初始候选河岸直线集；

60、tr3、基于启发式搜索，从所述初始候选河岸直线集中，搜索出方向角度接近、且相互距离最大的两条直线段，作为两岸线段；

61、tr4、在所述两岸线段中的任一条直线段上各取两个参考点，两两连接分属不同直线段的参考点形成第一参考线段、第二参考线段并使得该两条参考线段的交点位于所述最大连通域之外；

62、tr5、分别求所述第一参考线段、第二参考线段的中点，并以所获两个中点的连线形成河流走向直线；

63、tr6、计算所述河流走向直线的方向，作为河流走向；

64、tr7、调整无人机航向、倾斜摄影图像采集单元的光轴，使得所述光轴在水平面上的投影与所述河流走向直线的法线方向相同；

65、tr8、赋值航向已调整变量为是，并转步骤r2。

66、其中，所述步骤tr7中，所述光轴朝向河流所在的一侧。作为优选，所述步骤tr7中，求取该走向直线的法向直线即垂直线，计算所述法向直线与当前航向即图像纵轴之间的夹角，将所述夹角数据发送给飞控平台，由飞控平台控制无人机以小于90度的方向转向，使得无人机航向与所述法向直线一致。期间，可迭代地获取图像横轴与当前河流走向直线的夹角数据，并根据所述夹角重新调整航向，以获取到所述横轴近似平行河流走向的倾斜摄影图像。

67、作为优选，周期性地检测河流走向，控制无人机航向使得无人机沿着河流走向在河流的一侧持续飞行。然后，若倾斜摄影图像采集单元光轴与机头偏航角在同一个水平方向上，则调整无人机航向直至其与所述河流走向直线的法向一致；否则，若倾斜摄影图像采集单元的云台为独立控制，则控制云台的旋转；两种情况均使倾斜摄影图像采集的光轴其在水平面上的投影与河流走向直线的法向一致。

68、采用本发明方案，与现有技术相比，具有以下优点：本发明分析了采用无人机进行倾斜摄影下河流场景图像的特征，提出以横轴近似平行河流走向的倾斜摄影图像为依据，以基于深度学习网络的目标分类模型将河流目标用锚框定位出roi区域，从而根据roi区域中颜色取值区间来获得河流水体目标，并经最大连通域筛选获得河流水体对象，实现了河流水体对象的自动提取。通过逆透视变换将河流水体图像转换为河流现实二值图后，获得河流水体的边缘，利用图像中河流特征的启发式规则，寻找到河流两侧断边，并在以循环列表表示的河流边缘中分割出两条河岸边缘线，实现了河流两侧岸线的自动提取。进而，通过河流两侧岸线上各点距离的计算，获得河流宽窄信息，从而为跨越河流的飞行或水利工程建设、以及水文监测提供依据。同时，本发明还利用图像中河流特征的启发式规则，在河流边缘中寻找到河流两岸中的直线，并基于几何特征提取河流走向直线，从而能根据河流走向自动地获取横轴近似平行河流走向的倾斜摄影图像。

69、本发明不需要人为地进行河流岸线的指定，实现了横轴近似平行河流走向倾斜摄影图像的自动获取和河流岸线的自动提取；对于没有先验数字地图的河流区域，能自动检测出河流两岸的宽度，识别出河流各段的最窄位置；适合于对陌生地形下河流宽窄情况的检测。

70、应当理解的是，前述概念以及下文中更详细地讨论的附加概念的所有组合(倘若这样的概念并非相互不一致)都可以被设想为本文公开的发明主题的一部分。特别地，出现在本公开方案的要求保护的主题的所有组合都可以被设想为本文公开的发明主题的一部分。