2.4K Star 8.2K Fork 4.4K

GVPMindSpore / mindspore

 / 详情

[ST][MS][联合CI][bert][910B 8p]网络训练,日志含有接口变更告警

VALIDATION
Bug-Report
创建于  
2024-04-11 10:21
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

联合CI,bert网络在910B环境上训练,训练日志含有接口变更告警

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device ascend

  • Software Environment / 软件环境 (Mandatory / 必填):
    -- MindSpore version (e.g., 1.7.0.Bxxx) :
    -- Python version (e.g., Python 3.7.5) :
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):
    -- GCC/Compiler version (if compiled from source):

CANN:Milan_C17/20240408
MS:/r2.3.q1_20240409230812_650978d204f99976eeec(2.3.B120)

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode pynative
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

用例仓地址:/solution_test/cases/03subject_test/08united_ci/bert/
用例:
test_ms_united_ci_bert_cn_news_128_1f_8p_001

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. get code from bert
  2. cd bert
  3. bash run_train_8p.sh HCCL_RANK_TABLE DATA_PATH
  4. 验证网络是否训练成功
  5. 验证网络日志是否正常

Describe the expected behavior / 预期结果 (Mandatory / 必填)

网络训练成功、日志正常

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

ERROR 2024-04-11 02:22:08 - test_ms_united_ci_bert_cn_news_128_1f_8p_001 - base.py:check_warn_info:1070 - 以下是WARNING日志重复次数超过10的日志
WARNING日志重复次数	WARNING日志
37 mindspore/nn/layer/basic.py:173] For Dropout, this parameter `keep_prob` will be deprecated, please use `p` instead.
614 mindspore/nn/layer/basic.py:199] For Dropout, this parameter `keep_prob` will be deprecated, please use `p` instead.

ERROR 2024-04-11 02:22:08 - test_ms_united_ci_bert_cn_news_128_1f_8p_001 - base.py:check_warn_info:1074 - Warning logs exceed the threshold.
ERROR 2024-04-11 02:22:08 - test_ms_united_ci_bert_cn_news_128_1f_8p_001 - base.py:check_err_info_in_log:996 - Warning logs exceed the threshold.

Special notes for this issue/备注 (Optional / 选填)

走给吴伟康

评论 (3)

zhangjie18 创建了Bug-Report
zhangjie18 添加了
 
kind/bug
标签
zhangjie18 添加了
 
v2.3.0
标签
zhangjie18 添加了
 
attr/function
标签
zhangjie18 添加了
 
stage/func-debug
标签
zhangjie18 添加了
 
device/ascend
标签
展开全部操作日志

Please assign maintainer to check this issue.
请为此issue分配处理人。
@zhangjie18

感谢您的提问,您可以评论//mindspore-assistant更快获取帮助:

  1. 如果您刚刚接触MindSpore,或许您可以在教程找到答案
  2. 如果您是资深Pytorch用户,您或许需要:
  1. 如果您遇到动态图问题,可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
  2. 模型精度调优问题可参考官网调优指南
  3. 如果您反馈的是框架BUG,请确认您在ISSUE中提供了MindSpore版本、使用的后端类型(CPU、GPU、Ascend)、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
  4. 如果您已经定位出问题根因,欢迎提交PR参与MindSpore开源社区,我们会尽快review

方文怡拉会,不是框架的问题,脚本是谁提供的,就由谁来修改脚本,在给测试这边,要求此单关掉,框架解不了,佳利现在与开发对,但是目前也找不到责任人来修改脚本

zhangjie18 任务状态TODO 修改为REJECTED
zhangjie18 负责人duanjiali 修改为zhangjie18
zhangjie18 添加协作者duanjiali
zhangjie18 任务状态REJECTED 修改为TODO
zhangjie18 添加了
 
sig/parallel
标签
zhangjie18 关联分支r2.3.q1 修改为r2.3
zhangjie18 里程碑设置为B-SIG-Parallel
zhangjie18 添加协作者zhangjie18
zhangjie18 负责人zhangjie18 修改为xiangminshan
zhangjie18 修改了描述
xiangminshan 负责人xiangminshan 修改为wuweikang
xiaoyao 添加了
 
ctl/solutiontest
标签
xiaoyao 添加了
 
rca/others
标签
xiaoyao 添加了
 
rct/bugfix
标签
xiaoyao 里程碑B-SIG-Parallel 修改为B-SolutionTest
xiaoyao 任务状态TODO 修改为VALIDATION
xiaoyao 取消协作者xiangminshan
xiaoyao 负责人wuweikang 修改为zhangjie18
xiaoyao 取消协作者zhangjie18

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(3)
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助