一种针对代码生成模型的测试方法及装置与流程
技术特征:
1.一种针对代码生成模型的测试方法,其特征在于,所述方法包括一轮以上的测试;
2.根据权利要求1所述的方法,其特征在于,将所述第一代码剪裁掉其中的部分内容,得到第二代码包括:
3.根据权利要求2所述的方法,其特征在于,从所述代码树中至少一个分支的非起始位置开始剪裁掉该至少一个分支的后续部分或全部内容包括:从所述代码树中选取至少一个代码块,依据预设的剪裁策略对所述代码块进行剪裁;
4.根据权利要求1所述的方法,其特征在于,利用所述第二代码生成提示指令包括:
5.根据权利要求1所述的方法,其特征在于,利用所述第二代码和所述第三代码得到第四代码包括:
6.根据权利要求1所述的方法,其特征在于,在比对所述第一代码和所述第四代码之前,还包括:
7.根据权利要求1至6中任一项所述的方法,其特征在于,比对所述第一代码和所述第四代码,得到比对结果包括:
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
9.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
10.根据权利要求1至6中任一项所述的方法,其特征在于,所述数据集中代码所包含代码块的数量呈正态分布。
11.一种针对代码生成模型的测试装置,用以执行一轮以上的测试,其特征在于,所述装置包括:
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
13.一种电子设备,其特征在于,包括:
14.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。
技术总结
本申请实施例公开了一种针对代码生成模型的测试方法及装置。其中该方法包括一轮以上的测试,每一轮测试包括:从数据集中获取代码作为第一代码,所述数据集包括一个以上的代码;将所述第一代码剪裁掉其中的部分内容,得到第二代码;利用所述第二代码生成提示指令,将所述提示指令提供给所述代码生成模型,得到所述代码生成模型针对所述第二代码生成的第三代码;利用所述第二代码和所述第三代码得到第四代码;比对所述第一代码和所述第四代码,得到比对结果;利用所述一轮以上测试得到的所述比对结果,获取所述代码生成模型的性能测试结果。本申请的测试过程无需依赖人力观察,节约了人力成本,并且测试结果更加客观和准确。
技术研发人员:李芮
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:
技术公布日:2024/11/26
文档序号 :
【 40125886 】
技术研发人员:李芮
技术所有人:阿里巴巴(中国)有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:李芮
技术所有人:阿里巴巴(中国)有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
