[MT][NET][910B][8p][mobilenet_v3_large_imagenet2012]训练性能下降

name	about	labels
Bug Report	Use this template for reporting a bug	kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

[910B][8p][mobilenet_v3_large_imagenet2012]训练性能下降

Environment / 环境信息 (Mandatory / 必填)

Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend

Software Environment / 软件环境 (Mandatory / 必填):
-- MindSpore version (e.g., 1.7.0.Bxxx) :b5a202640fd3162c8b
-- Python version (e.g., Python 3.7.5) :Python 3.7.6
-- OS platform and distribution (e.g., Linux Ubuntu 16.04):eulerosv2r10.aarch64
-- GCC/Compiler version (if compiled from source): gcc (GCC) 7.3.0
最近失败版本
run包Milan_C17/20240414
mindspore包master_20240425122124_b5a202640fd3162c8b7031ea6979efa434c11ecd
run包Milan_C17/20240414
mindspore包master_20240426230938_a87635b6f65bc6225173fec53883351ebf449b66
Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

test_ms_mobilenet_v3_large_imagenet2012_train_check_loss_910_gpu_8p_0001

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

get code from solution_test
cd solution_test/cases/02network/00cv/mobilenetv3/train/
pytest -s test_ms_mobilenet_v3_large_imagenet2012_train_check_loss_910_gpu_8p_0001.py

Describe the expected behavior / 预期结果 (Mandatory / 必填)

[910B][8p][mobilenet_v3_large_imagenet2012]训练性能正常

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

输入图片说明

Special notes for this issue/备注 (Optional / 选填)

最近成功版本
run包/Milan_C17/20240414
mindspore包master_20240424172401_eb182b96739b7028968391cc9baf02f8c9f24d16/
最近失败版本
run包Milan_C17/20240414
mindspore包master_20240425122124_b5a202640fd3162c8b7031ea6979efa434c11ecd

run包Milan_C17/20240414
mindspore包master_20240426230938_a87635b6f65bc6225173fec53883351ebf449b66

cida记录分别是
输入图片说明

Please assign maintainer to check this issue.
请为此issue分配处理人。
@chentangyu

感谢您的提问，您可以评论//mindspore-assistant更快获取帮助：

如果您刚刚接触MindSpore，或许您可以在教程找到答案
如果您是资深Pytorch用户，您或许需要：

如果您遇到动态图问题，可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
模型精度调优问题可参考官网调优指南
如果您反馈的是框架BUG，请确认您在ISSUE中提供了MindSpore版本、使用的后端类型（CPU、GPU、Ascend）、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
如果您已经定位出问题根因，欢迎提交PR参与MindSpore开源社区，我们会尽快review

Appearance

表象: mobilenet_v3_large_imagenet2012训练性能下降，无法达到FPS13500

Self-test Report

master_b5a202640fd3162c8b7031ea6979efa434c11ecd 自验达标
输入图片说明
master_a87635b6f65bc6225173fec53883351ebf449b66 自验达标

问题无法复现，问题单走回

run包Milan_C17/20240414
mindspore包master_20240426230938_a87635b6f65bc6225173fec53883351ebf449b66
重跑后通过
输入图片说明

GVP MindSpore / mindspore

内容风险标识