您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件测试技术 > 其他相关 > 正文

基于深度学习的时间序列预测系统——测试心得

发表于:2019-12-09 作者:pigeon唐 来源:博客园

写在测试报告前的一些话:

呼……从最最开始全员被拉上贼船到现在,项目终于有了还算不错的样子。这期间算法的不断出错曾让我们一度陷入崩溃,页面设计的调整也是根本停不下来,但幸运的是我们最终克服了所有的困难,实现了我们的项目——基于深度学习的时间序列预测系统。这一个学期里,作为算法组,我们努力的把算法优化到最好,并在原有的基础上不断创新,我们的网站并没有眼花缭乱的界面和复杂的功能,但“开发者中心”就是我们的骄傲!感谢这一学期里队友们的精诚合作与实力带飞,比颗大心给你们!

第1章  测试概述

1.1测试对象

本系统名称:基于深度学习的时间序列预测系统;

本系统开发单位:从hello world开始的编程 开发小组

1.2项目背景

利用深度学习技术,创建分析学习所给定的训练数据创建模型,同时给出预测未来数据的时间序列以解决实际问题,是本项目的主要任务。

1.3测试目的

本次测试主要对当前开发版本中网站前端显示,网站与后台的连接,以及神经网络模型可能在某些输入或者操作时出现的问题进行检测与改善。测试范围涵盖网站前端,网站连接,算法模型以及数据库。

第2章 测试方法

2.1测试环境

2.1.1硬件环境

可上网并装有浏览器的电脑一台,用于登录网页,创建模型并训练数据。

2.1.2软件环境

操作系统版本:Windows 10 家庭中文版

CPU:1.8 GHz

内存:8.00GB

浏览器:主流浏览器均可

数据库:MySQL

2.2 测试工具

测试过程没有使用测试工具进行测试,全程均有开发人员人工测试。

2.3测试方法

测试过程主要包含功能测试,UI测试,临界测试。

功能测试:对系统的核心功能流程进行测试,包括登录注册,从创建数据集、创建模型到发布模型全过程

UI测试:系统的界面展示,是否用户友好,必填项是否有明显表示,限定项是否使用下拉框

临界测试:主要针对数据在发生更改时可能对设计产生的冲突

第3章 测试结果及缺陷分析

3.1 覆盖分析

3.1.1需求覆盖分析
 

项目需求模块

项目需求子模块

测试功能

需求覆盖率

注册登录

用户注册

用户注册输入用户名、密码、手机号和验证码,对输入正确性进行判断,全部符合要求后存入数据库,完成用户注册;否则,要求用户重新输入。

100%

用户登录

用户使用已注册的手机号或用户名进行密码登录,访问数据库进行数据比对,符合要求则登陆成;可防范SQL注入攻击

忘记密码

用户输入手机号并正确输入图形验证码,与数据库比对成功后系统发送短信验证码,跳转至下一界面,用户需正确输入短信验证码并确认输入新密码,完成找回密码。

开发资源-文档中心

接入指南

接入指南为静态页面,向用户介绍接口使用流程,通过导航栏可正确定向到本页面。

鉴权认证机制

鉴权认证机制为静态页面,向用户介绍API鉴权认证流程,通过导航栏可正确定向到本页面。

开发者协议

开发者协议为静态页面,与用户进行约定并告知用户使用协议,通过导航栏可正确定向到本页面。

开发资源-教学视频

 

 

 

用户注册与登录教学视频

此为视频播放页面,用于用户教学,通过导航栏可正确定向到本页面。

创建模型教学视频

此为视频播放页面,用于用户教学,通过导航栏可正确定向到本页面。

模型训练与验证教学视频

此为视频播放页面,用于用户教学,通过导航栏可正确定向到本页面。

如何使用SDK教学视频

此为视频播放页面,用于用户教学,通过导航栏可正确定向到本页面。

开发资源-常见问题

常见问题

向用户展示了在使用系统中可供会出现的问题以及解决办法,帮助用户更好的使用系统解决实际问题。

开发者中心-模型中心

我的模型

用户可以查看已经创建的模型及其参数,包括训练状态和发布状态等,并且可以删除已经创建的模型

创建模型

用户可以创建一个模型,并给出模型的名称,模型使用人的联系方式,以及模型的详细描述

训练模型

用户可以训练已经创建的模型,在训练时用户需要选择一些参数对神经网络模型进行定制以实现更优的模型

校验模型

用户可以查看已经训练完成的模型,主要包括一个折线图,和两个参数val_loss、loss。折线图展示了预测数据和真实数据的对比,参数展示了模型的准确率

发布模型

用户可以发布已经训练完成的模型,系统会给用户提供一个接口地址和一个接口密钥,用户可以下载系统的离线SDK,使用接口地址和接口密钥在系统外部使用训练完成的模型。

开发者中心-数据中心

数据集管理

用户可查看已创建的数据集以及数据集的详细参数,并且可以删除创建的数据集

创建数据集

用户可以从本地选择数据集进行上传,并给上传的数据集命名,当前开发版本支持上传单个CSV文件

个人中心

编辑个人资料

用户登录系统后可以点击右上方的头像进入个人中心,在个人中心,用户可以上传图片自定义头像,并编辑详细资料信息。

 

3.2  缺陷统计与分析

3.2.1缺陷统计

3.2.1.1所有bug列表

1、 个人中心

a、昵称无法显示,只有在第二次编辑时才能设置,第一次试图设置昵称时提示提交表单并强制要求昵称和真实姓名一致。

b、上传头像使用中文名称会报错。

2、 开发者中心

股票因子预测起止时间应有限制,过长的时间会导致服务器过载。

3.2.1.2重要解决bug列表

1、 个人中心

a、昵称无法显示,只有在第二次编辑时才能设置,第一次试图设置昵称时提示提交表单并强制要求昵称和真实姓名一致。

产生原因:

标签命名错误

解决方案:

修改标签命名

b、上传中文名称报错

产生原因:

编码方式冲突

解决方案:

修改编码方式

2、开发者中心

股票因子预测起止时间应有限制,过长的时间会导致服务器过载,且当用户查询的数据过量时,会强制停止用户的数据访问行为。

3.2.1.3遗留bug列表

开发资源页面中针对不同的显示屏存在兼容问题。

3.2.2缺陷分析

3.2.2.1缺陷综合分析

缺陷发现效率 = 缺陷总数/执行测试用时 = 1/73 ≈ 1.3%

缺陷密度 = 缺陷总数/功能点总数 = 1/19 ≈ 5.2%

由于我们目前的bug是页面大小不兼容问题,全组5人只有1人出现该问题,且寻求其他同学的测试帮助也未出现该问题。因为本缺陷是很容易发现的,因此在测试初期即提出该问题,测试用时更多的时间花费到了开发者中心中对模型的测试里去了。

3.2.2.2测试曲线图

3.3 性能数据与分析

股票因子分析部分,当起止时间过长时,将会读取分析大量的数据,造成服务器过载。因此,最适时间跨度为1-2年,此时的运行计算速度较快,用户体验度好。此时的数据量也可满足大部分用户的需求,达到该部分算法实现的目标。

3.3.1性能数据

点击训练模型,时间跨度为1年2个月,跳转平均用时1s即形成计算结果。

第4章 测试总结和建议

4.1软件质量

软件开发成功达到预期目标,可以交付使用。

4.2软件风险

系统目前提供的模型有局限性,针对一些问题可能无法给出比较合适的结果,会考虑将系统扩展为一个平台,能够给用户更多的自由度。

4.3测试结论

对测试计划执行情况以及测试结果进行总结,包括:

1.主要测试方面均已涉及,但较为浅层,主要功能均实现并得到良好测试

2.在测试风险应对方面,积极给出测试方案,对可能遇到的边界情况以及数据通路进行了检查

3.完成了预定的测试目标并测试通过

4.可以进行下一阶段的检查

4.4  测试建议

测试时间稍微有点紧张,到提交项目前小组成员还在修改bug,建议项目留下充足的时间进行测试工作。