博客
关于我
Pytorch实践--eval 模式,每次预测相同的数据得到的概率不同
阅读量:789 次
发布时间:2019-03-25

本文共 831 字,大约阅读时间需要 2 分钟。

在使用PyTorch训练好的模型进行预测时,可能会遇到一个问题,此问题出现在模型被设置为评估模式(eval())后。具体来说,同一数据在每次预测时,概率值会出现变化。这种情况下,许多技术人员可能会感到困惑,不知道为什么相同数据的预测结果会截然不同。

分析与原因

使用eval()模式会将模型切换为评估模式,此时模型的Dropout和BatchNorm层(如果有的话)会生效。但需要注意的是,这些层必须包含在模块(_modules)中。只有当类成员的type派生于Module时,该成员才会被自动划归到_modules中。如果在设计网络时,某些包含Dropout或BatchNorm的层不被包含在模块中,那么在评估模式下,这些层将无法正常工作。

查看源码发现

通过检查模型的源码,可以发现以下情况:某些成员函数使用了nn.Dropout,尽管它应该属于模块。但是,由于某些原因,这个Dropout层不属于_modules,这就导致在评估模式下,Dropout层无法正常工作。这个问题导致每次对同一数据进行预测时,Dropout层的随机采样结果不同,从而造成概率值的变化。

解决方案

要解决此类问题,模型开发者需要确保在网络设计阶段,所有使用Dropout或BatchNorm的层都包含在模块(_modules)中。这样,在评估模式下,这些层才能正常工作。这是确保模型在评估模式下表现稳定和可靠的关键步骤。

建议开发人员在构建网络时,仔细检查每个使用Dropout或BatchNorm的层是否被正确地包含在模块中。如果某个特定的层不在模块中,应将该层所属的父容器或者整体网络结构进行检查,并确保它们被正确划归到模块中。如果在代码中没有明确地将这些层包含在模块中,可能需要手动调整模型的结构,使其符合PyTorch的模块化管理方式。

通过以上措施,可以确保模型在评估模式下,其Dropout和BatchNorm层能够正常工作,从而使得模型预测结果具有稳定性和可测量性。

转载地址:http://jjxuk.baihongyu.com/

你可能感兴趣的文章
mysql加强(3)~分组(统计)查询
查看>>
mysql加强(4)~多表查询:笛卡尔积、消除笛卡尔积操作(等值、非等值连接),内连接(隐式连接、显示连接)、外连接、自连接
查看>>
mysql加强(5)~DML 增删改操作和 DQL 查询操作
查看>>
mysql加强(6)~子查询简单介绍、子查询分类
查看>>
mysql加强(7)~事务、事务并发、解决事务并发的方法
查看>>
MySQL千万级多表关联SQL语句调优
查看>>
mysql千万级大数据SQL查询优化
查看>>
MySQL千万级大表优化策略
查看>>
MySQL单实例或多实例启动脚本
查看>>
MySQL压缩包方式安装,傻瓜式教学
查看>>
MySQL原理、设计与应用全面解析
查看>>
MySQL原理简介—1.SQL的执行流程
查看>>
MySQL参数调优详解
查看>>
mysql参考触发条件_MySQL 5.0-触发器(参考)_mysql
查看>>
MySQL及navicat for mysql中文乱码
查看>>
MySqL双机热备份(二)--MysqL主-主复制实现
查看>>
MySQL各个版本区别及问题总结
查看>>
MySql各种查询
查看>>
mysql同主机下 复制一个数据库所有文件到另一个数据库
查看>>
mysql启动以后会自动关闭_驾照虽然是C1,一直是开自动挡的车,会不会以后就不会开手动了?...
查看>>