用于管理虚拟教室的方法及系统与流程

本发明有关于一种用于管理虚拟教室的方法及系统。

背景技术：

1、最近，由于诸如流行病、地缘政治问题等各种原因，在线通信的使用极大地增加。其相关应用之一是远程教育，其对于无法亲自上课的学生提供学习体验。为了开展远程教育，采用了虚拟教室。在虚拟教室中，讲师操作电子装置(例如个人计算机)并在摄像机和麦克风前讲话。摄像机连续捕获讲师和/或课堂材料(例如黑板、演示幻灯片等)的图像，并且麦克风连续收集来自讲师的音频数据。然后，电子装置产生包括图像和音频数据的数据流，并将数据流发送到云服务器。一个或多个学生可以各自操作另一电子装置来接收来自云服务器的数据流，并且可以在每个学生的电子装置上播放接收到的数据流。在一些情况下，具有摄像机和/或麦克风的学生也可以以类似于讲师进行讲座的方式与讲师互动。继而，讲师的电子装置可以接收包括学生的图像和/或音频数据的一个或多个数据流。

2、出于教学目的，讲师需要确保学生理解讲师所教授的材料。这可能对远程教育来说是一个挑战，当大量学生同时在线听课时，观察学生的实时反应可能是不可行的。此外，讲师可能无法在讲座期间专注于他/她的显示器来监控每个学生的反应。例如，在讲师正在黑板上写字并因此背对显示器或执行其他妨碍他/她看显示器的任务的情况下，可能无法观察到学生的反应。

技术实现思路

1、本发明的一个目的是提供一种用于管理虚拟教室的方法，其能够分析至少一名学生在讲座期间的反应。

2、根据本发明的一个观点，提供了一种用于托管元宇宙虚拟教室(vc)的方法。所述方法是使用一种系统来实现的，所述系统包括服务器、与讲师相关联并且与所述服务器通信的讲师装置、以及与学生相关联并且与所述服务器通信的学生装置。所述方法包括：所述讲师装置记录与所述讲师相关联的第一音频/视频(a/v)数据流，并将所述第一a/v数据流传输至所述服务器；所述服务器响应于从所述讲师装置接收到所述第一a/v数据流，将所述第一a/v数据流传输到所述学生装置；所述学生装置响应于从所述服务器接收到所述第一a/v数据流，向所述学生呈现所述第一a/v数据流；所述学生装置记录与所述学生相关联的第二a/v数据流，并将所述第二a/v数据流传输至所述服务器；所述服务器响应于接收到所述第二a/v数据流，基于所述第二a/v数据流执行与所述学生响应于所述第一a/v数据流的注意力相关联的注意力分数的计算；及所述服务器将所述注意力分数传输至所述讲师装置。

3、在某些实施例中，所述方法还包括：所述服务器响应于从所述讲师装置接收到基于所述注意力分数而发出的互动命令，在所述讲师装置和所述学生装置之间建立直接通信界面。

4、在某些实施例中，所述方法还包括：当持有直接通信界面时，所述服务器对所述第二a/v数据流中包括的音频数据执行情绪分析以确定所述学生的情绪状态。

5、在某些实施例中，所述方法还包括：所述服务器在所述直接通信界面上产生基于所述讲师的第一3d化身和基于所述学生的第二3d化身。

6、在某些实施例中，所述第二a/v数据流包括所述学生的多个图像，并且所述注意力分数是使用双模情绪分类，基于所述图像中所包括的图像来计算出的。

7、在某些实施例中，计算所述注意力分数的步骤是周期性地执行。

8、在某些实施例中，所述系统包括多个学生装置各自与一个学生相关联并与所述服务器通信；所述服务器将所述第一a/v数据流传输至每个学生装置；每个学生装置记录与相应学生相关联的唯一第二a/v数据流，并将所述唯一第二a/v数据流传输至所述服务器；所述服务器分别计算与所述学生的注意力相关的多个注意力分数；及所述方法还包括所述服务器在确定出超过特定百分比的注意力分数低于阈值时向所述讲师装置发送警报。

9、在某些实施例中，计算与所述学生的注意力相关的多个注意力分数的步骤是周期性地执行；及所述方法还包括所述服务器在确定出一段时间内超过特定百分比的注意力分数低于阈值时向所述讲师装置发送警报。

10、本发明的另一目的是提供一种系统，其组配来实现上述方法。

11、根据本发明的一个观点，提供了一种用于管理虚拟教室的系统。所述系统包括服务器、与讲师相关联并且与所述服务器通信的讲师装置、以及与学生相关联并且与所述服务器通信的学生装置。所述系统是组配来执行上述方法的以下操作：所述讲师装置记录与所述讲师相关联的第一音频/视频(a/v)数据流，并将所述第一a/v数据流传输至所述服务器；所述服务器响应于从所述讲师装置接收到所述第一a/v数据流，将所述第一a/v数据流传输到所述学生装置；所述学生装置响应于从所述服务器接收到所述第一a/v数据流，向所述学生呈现所述第一a/v数据流；所述学生装置记录与所述学生相关联的第二a/v数据流，并将所述第二a/v数据流传输至所述服务器；所述服务器响应于接收到所述第二a/v数据流，基于所述第二a/v数据流执行与所述学生响应于所述第一a/v数据流的注意力相关联的注意力分数的计算；及所述服务器将所述注意力分数传输至所述讲师装置。

12、在某些实施例中，所述系统还组配来执行以下操作：所述服务器响应于从所述讲师装置接收到基于所述注意力分数而发出的互动命令，在所述讲师装置和所述学生装置之间建立直接通信界面。

13、在某些实施例中，所述系统还组配来执行以下操作：当持有直接通信界面时，所述服务器对所述第二a/v数据流中包括的音频数据执行情绪分析以确定所述学生的情绪状态。

14、在某些实施例中，所述系统还组配来执行以下操作：所述服务器在所述直接通信界面上产生基于所述讲师的第一3d化身和基于所述学生的第二3d化身。

15、在某些实施例中，所述第二a/v数据流包括所述学生的多个图像，并且所述注意力分数是使用双模情绪分类，基于所述图像中所包括的图像来计算出的。

16、在某些实施例中，所述服务器是组配来周期性地执行所述注意力分数的计算。

17、在某些实施例中，所述系统包括多个学生装置各自与一个学生相关联并与所述服务器通信；所述服务器将所述第一a/v数据流传输至每个学生装置；每个学生装置记录与相应学生相关联的唯一第二a/v数据流，并将所述唯一第二a/v数据流传输至所述服务器；所述服务器分别计算与所述学生的注意力相关的多个注意力分数；及所所述服务器还组配来执行以下操作：在确定出超过特定百分比的注意力分数低于阈值时向所述讲师装置发送警报。

18、本发明的有益效果在于：在vc进行讲座的过程中，所述服务器可以捕获并处理学生的图像，并根据图像计算注意力分数，从而确定每个学生是否在听讲座。可以定期地进行确定，以进一步分析学生对讲座的子部分的反应以及个别学生在讲座过程中的反应。此外，还可以分析学生在一个学期中对个别讲座的反应。在特定学生根据学生的注意力分数需要帮助的情况下，讲师可以选择开通所述讲师装置和所述学生装置之间的直接通信界面。当生成所述直接通信界面时，所述服务器可以对所述第二a/v数据流中包括的音频数据执行情绪分析以确定学生的情绪状态。当确定出学生的情绪状态为负面时，讲师还可以采用虚拟面对面通信，其中所述服务器产生要由学生装置显示的3d化身。以此方式，所述方法和系统至少可以改善vc在远程教育中的体验，讲师可以更多地了解学生的反应，并且学生可以从讲师那里得到即时帮助。