2.4K Star 8.2K Fork 4.4K

GVPMindSpore / mindspore

 / 详情

[ST][MS][NET][glm3-6b-32k][910B3 8p]微调失败,can't read run_glm32k.yaml: No such file or directory

DONE
Bug-Report
创建于  
2024-05-10 10:29
name about labels
Bug Report Use this template for reporting a bug kind/bug

Describe the current behavior / 问题描述 (Mandatory / 必填)

模型地址:https://gitee.com/mindspore/mindformers
微调失败,can't read run_glm32k.yaml: No such file or directory

该pr修改了脚本名称但未及时知会
https://gitee.com/mindspore/mindformers/commit/d3a780230b03544d97d1f5383f7e469d591923b7

Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment(Ascend/GPU/CPU) / 硬件环境:

Please delete the backend not involved / 请删除不涉及的后端:
/device 910B3

  • Software Environment / 软件环境 (Mandatory / 必填):
    -- MindSpore version (e.g.,r1.6 commit_id=xxxx) :
    -- Python version (e.g., Python 3.7.5) :
    -- OS platform and distribution (e.g., Linux Ubuntu 16.04):
    -- GCC/Compiler version (if compiled from source):

CANN:MILAN-Florence-ASL/ABL V100R001C17SPC001B240 Alpha
MS:MindSpore_master_c6a1400a(MindSpore2.3.0B270)
MF:MindFormers_r1.1.0_38f91545(MindFormers2.3.0B270)

  • Excute Mode / 执行模式 (Mandatory / 必填)(PyNative/Graph):

Please delete the mode not involved / 请删除不涉及的模式:
/mode graph

Related testcase / 关联用例 (Mandatory / 必填)

测试仓库地址:/home/jenkins/workspace/TDT_deployment/MindFormers_Test/cases/glm3/32k/train
用例:
test_mf_chatglm3_6b_32k_train_longbench_8p_0001

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. get code from mindformers
  2. cd research/qwen
  3. bash run_singlenode.sh '''python glm32k/run_glm32k.py --config /home/jenkins/workspace/TDT_deployment/MindFormers_Test/cases/glm3/32k/train/test_mf_chatglm3_6b_32k_train_longbench_8p_0001/research/glm32k/run_glm32k.yaml --run_mode finetune --train_dataset /home/workspace/large_model_dataset//glm32K/longbench.jsonl --use_parallel True ''' /home/workspace/config/hccl_8p.json [0,8] 8
  4. 网络微调成功
  5. 性能精度符合预期

Describe the expected behavior / 预期结果 (Mandatory / 必填)

网络微调成功

Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

cd /data/jenkins_workspace/TDT_deployment/MindFormers_Test/cases/glm3/32k/train/test_mf_chatglm3_6b_32k_train_longbench_8p_0001/research/glm32k;sed -i "s#load_checkpoint: ''#load_checkpoint: '/home/workspace/large_model_ckpt//glm3_32k/glm32k.ckpt'#g" run_glm32k.yaml] fail, status:[2], stderr log: [

sed: can't read run_glm32k.yaml: No such file or directory

Special notes for this issue/备注 (Optional / 选填)

走给吴致远

评论 (4)

sunjiawei999 创建了Bug-Report
sunjiawei999 复制于任务 I9C8CS
sunjiawei999 添加了
 
attr/function
标签
sunjiawei999 添加了
 
stage/func-debug
标签
sunjiawei999 添加了
 
kind/bug
标签
sunjiawei999 添加了
 
sig/mindformers
标签
sunjiawei999 添加了
 
device/ascend
标签
sunjiawei999 添加了
 
v2.3.0
标签
sunjiawei999 添加了
 
ccb/rfc
标签
sunjiawei999 添加了
 
v2.3.0.rc2
标签
sunjiawei999 添加协作者xdnjust
sunjiawei999 添加协作者zyw_hw
sunjiawei999 移除了
 
v2.3.0
标签
sunjiawei999 移除了
 
v2.3.0
标签
sunjiawei999 移除了
 
ccb/rfc
标签
sunjiawei999 移除了
 
ccb/rfc
标签
展开全部操作日志

Please assign maintainer to check this issue.
请为此issue分配处理人。
@sunjiawei999

感谢您的提问,您可以评论//mindspore-assistant更快获取帮助:

  1. 如果您刚刚接触MindSpore,或许您可以在教程找到答案
  2. 如果您是资深Pytorch用户,您或许需要:
  1. 如果您遇到动态图问题,可以设置set_context(pynative_synchronize=True)查看报错栈协助定位
  2. 模型精度调优问题可参考官网调优指南
  3. 如果您反馈的是框架BUG,请确认您在ISSUE中提供了MindSpore版本、使用的后端类型(CPU、GPU、Ascend)、环境、训练的代码官方链接以及可以复现报错的代码的启动方式等必要的定位信息
  4. 如果您已经定位出问题根因,欢迎提交PR参与MindSpore开源社区,我们会尽快review
sunjiawei999 计划开始日期设置为2024-05-10
sunjiawei999 计划截止日期设置为2024-05-17
sunjiawei999 负责人wuzhiyuan1996 修改为wangxingyan
sunjiawei999 修改了描述
sunjiawei999 修改了描述
xiangminshan 负责人wangxingyan 修改为wuzhiyuan1996
sunjiawei999 修改了标题
wuzhiyuan1996 添加了
 
rct/bugfix
标签
wuzhiyuan1996 添加了
 
ctl/rdselftest
标签
wuzhiyuan1996 添加了
 
rca/others
标签
wuzhiyuan1996 负责人wuzhiyuan1996 修改为sunjiawei999

glm32k微调启动方式变更,邮件已发
输入图片说明

i-robot 添加了
 
foruda
标签
wuzhiyuan1996 任务状态TODO 修改为VALIDATION

回归版本:r2.3
CANN版本:MILAN-Florence-ASL/ABL V100R001C17SPC001B240 Alpha

MindSpore版本:MindSpore_master_c6a1400a(MindSpore2.3.0B270)

MindFormers版本:MindFormers_r1.1.0_38f91545(MindFormers2.3.0B270)
回归步骤:参考issue步骤
基本问题:已解决

回归人员:孙佳伟

回归时间:2024-51
输入图片说明
但是有ERROR日志打印,由https://e.gitee.com/mind_spore/dashboard?issue=I9C7WW 跟踪
输入图片说明

sunjiawei999 任务状态VALIDATION 修改为DONE
fangwenyi 移除了
 
v2.3.0.rc2
标签
fangwenyi 添加了
 
master
标签

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(7)
11016979 xiangmd 1654824581
Python
1
https://gitee.com/mindspore/mindspore.git
git@gitee.com:mindspore/mindspore.git
mindspore
mindspore
mindspore

搜索帮助