ChatGLM3

@article{zeng2022glm,
  title={Glm-130b: An open bilingual pre-trained model},
  author={Zeng, Aohan and Liu, Xiao and Du, Zhengxiao and Wang, Zihan and Lai, Hanyu and Ding, Ming and Yang, Zhuoyi and Xu, Yifan and Zheng, Wendi and Xia, Xiao and others},
  journal={arXiv preprint arXiv:2210.02414},
  year={2022}
}

python transform_ckpt.py \
--src_ckpt_strategy {path}/output/strategy/ \
--src_ckpt_dir {path}/output/checkpoint/ \
--dst_ckpt_dir {path}/target_checkpoint/ \
--prefix glm3_6b

# 参数说明
src_ckpt_strategy: 步骤1中的切分策略文件路径
src_ckpt_dir: 原切分权重文件夹
dst_ckpt_dir: 目标路径
prefix: ckpt文件前缀名

{"content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"}

AdvertiseGen
  ├── train.json
  └── dev.json

train_dataset: &train_dataset
    dataset_dir: "/path/to/AdvertiseGen/train.json"
    origin_columns: ["content", "summary"]
  tokenizer:
    vocab_file: "/path/to/tokenizer.model"
  input_columns: ["input_ids", "labels"]
  max_source_length: 64
  max_target_length: 127

eval_dataset: &eval_dataset
  data_loader:
    dataset_dir: "/path/to/AdvertiseGen/dev.json"
    origin_columns: ["content", "summary"]
  tokenizer:
    vocab_file: "/path/to/tokenizer.model"
  max_source_length: 256
  max_target_length: 256

python mindformers/tools/format_tool_alpaca.py --path ToolAlpaca/data/train_data.json

cd {mindformers根目录}
bash scripts/msrun_launcher.sh "run_mindformer.py \
    --config configs/glm3/run_glm3_6b_finetune_2k_800T_A2_64G.yaml \
    --run_mode finetune"

import mindspore as ms
from mindformers import AutoConfig, AutoModel, ChatGLM3Tokenizer

# 指定图模式，指定使用训练卡id
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend", device_id=0)

# 本地加载方式，配置为权重下载章节的tokenizer文件
tokenizer = ChatGLM3Tokenizer("/path/to/tokenizer.model")

# 自定义修改配置后实例化，配置为yaml文件路径，示例yaml文件为configs/glm3/predict_glm3_6b.yaml
config = AutoConfig.from_pretrained("/path/to/your.yaml")
model = AutoModel.from_config(config)   # 从自定义配置项中实例化模型

role="user"

inputs_list=["你好", "请介绍一下华为"]

for input_item in inputs_list:
    history=[]
    inputs = tokenizer.build_chat_input(input_item, history=history, role=role)
    inputs = inputs['input_ids']
    # 首次调用model.generate()进行推理将包含图编译时间，推理性能显示不准确，多次重复调用以获取准确的推理性能
    outputs = model.generate(inputs, do_sample=False, top_k=1, max_length=config.seq_length)
    response = tokenizer.decode(outputs)
    for i, output in enumerate(outputs):
        output = output[len(inputs[i]):]
        response = tokenizer.decode(output)
        print(response)
    # answer 1:
    # 你好👋！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。

    # answer 2:
    # 华为是一家总部位于中国深圳的多元化科技公司,成立于1987年,是全球最大的电信设备制造商之一。该公司也在智能手机、电脑、平板电脑、云计算等领域开展业务,其产品和服务覆盖全球170多个国家和地区。

    # 华为的主要业务包括电信网络设备、智能手机、电脑和消费电子产品。公司在全球范围内有超过190,000名员工,其中约一半以上从事研发工作。华为以其高品质的产品和服务赢得了全球客户的信任和好评,也曾因其领先技术和创新精神而获得多项国际奖项和认可。

    # 然而,华为也面临着来自一些国家政府的安全问题和政治压力,其中包括美国政府对其产品的禁令和限制。华为一直坚称自己的产品是安全的,并采取了一系列措施来确保其产品的安全性和透明度。

model:
  model_config:
    checkpoint_name_or_path: "/path/to/glm3_6b.ckpt"

from copy import deepcopy

import mindspore as ms
from mindformers import AutoConfig, AutoModel, ChatGLM3Tokenizer


def process_response(output, history):
    content = ""
    history = deepcopy(history)
    for response in output.split("<|assistant|>"):
        metadata, content = response.split("\n", maxsplit=1)
        if not metadata.strip():
            content = content.strip()
            history.append({"role": "assistant", "metadata": metadata, "content": content})
            content = content.replace("[[训练时间]]", "2023年")
        else:
            history.append({"role": "assistant", "metadata": metadata, "content": content})
            if history[0]["role"] == "system" and "tools" in history[0]:
                content = "\n".join(content.split("\n")[1:-1])
                def tool_call(**kwargs):
                    return kwargs
                parameters = eval(content)
                content = {"name": metadata.strip(), "parameters": parameters}
            else:
                content = {"name": metadata.strip(), "content": content}
    return content, history


# 指定图模式，指定使用训练卡id
ms.set_context(mode=ms.GRAPH_MODE, device_target="Ascend", device_id=0)

# 本地加载方式，配置为权重下载章节的tokenizer文件
tokenizer = ChatGLM3Tokenizer("/path/to/tokenizer.model")

# 自定义修改配置后实例化，配置为yaml文件路径，示例yaml文件为configs/glm3/predict_glm3_6b.yaml
config = AutoConfig.from_pretrained("/path/to/your.yaml")
model = AutoModel.from_config(config)   # 从自定义配置项中实例化模型

kwargs={}
gen_kwargs = {"max_length": config.seq_length,"num_beams": 1, "do_sample": False, "top_p": 1,"top_k": 1,
              "temperature": 1,**kwargs}

role="system"
text = "假设你现在是一个导游，请尽可能贴近这个角色回答问题。"
history = []
inputs = tokenizer.build_chat_input(text, history=history, role=role)
inputs = inputs['input_ids']
history.append({'role':role, 'content':text}) # 第一个输入

outputs = model.generate(inputs, **gen_kwargs)
outputs =outputs[0][len(inputs[0]):-1]
response = tokenizer.decode(outputs)
print(response, flush=True)
# 您好，我是您的人工智能助手，也可以是你的导游。请问有什么问题我可以帮您解答呢？
response, history = process_response(response, history)
print('history:', flush=True)
print(history, flush=True)

role="user"
text="我打算1月份去海南玩，可以介绍一下海南有哪些好玩的，好吃的么？"
inputs = tokenizer.build_chat_input(text, history=history, role=role)
inputs = inputs['input_ids']
history.append({'role':role, 'content':text}) # 第二个输入
outputs = model.generate(inputs, **gen_kwargs) #, eos_token_id=eos_token_id)
outputs =outputs[0][len(inputs[0]):-1]
response = tokenizer.decode(outputs)
print(response, flush=True)
#  当然可以！海南是一个风景优美、气候宜人的热带海洋省份，拥有丰富的旅游资源和美食。以下是一些您可能会感兴趣的景点和美食：

# 1. 景点：
# - 海南岛：这是海南最著名的景点之一，拥有美丽的沙滩和热带雨林。
# - 亚龙湾：这是海南最著名的海滩之一，拥有柔软的沙滩和清澈的海水。
# - 南山寺：这是海南最著名的佛教寺庙之一，拥有精美的建筑和悠久的历史。
# - 博鳌亚洲论坛永久会址：这是中国最著名的国际会议中心，位于海南岛东海岸。

# 2. 美食：
# - 海南鸡饭：这是海南最著名的美食之一，由鸡肉、米饭和椰汁组成。
# - 海鲜：海南岛周围的海域拥有丰富的海鲜资源，包括螃蟹、龙虾、鱼类等。
# - 椰子饭：这是海南最著名的传统美食之一，由椰子肉和糯米组成。
# - 海南粉：这是海南的一种传统小吃，由米粉和各种肉类、海鲜、蔬菜组成。

# 希望这些信息对您有所帮助，如果您还有其他问题，请随时问我。
response, history = process_response(response, history)

role="user"
text="哪里适合冲浪和潜水呢？"
inputs = tokenizer.build_chat_input(text, history=history, role=role)

inputs = inputs['input_ids']
history.append({'role':role, 'content':text}) # 第三个输入

outputs = model.generate(inputs, **gen_kwargs)
outputs =outputs[0][len(inputs[0]):-1]
response = tokenizer.decode(outputs)
print(response, flush=True)
#  在海南岛，冲浪和潜水的好去处有很多。以下是一些建议：

# 1. 冲浪：
# - 莺歌海：位于海南岛西南部，是冲浪爱好者的天堂。这里的海浪适中，沙滩漂亮，非常适合冲浪。
# - 三亚：位于海南岛南端，拥有许多优质的冲浪场地，如蜈支洲岛、大小洞天等。

# 2. 潜水：
# - 蜈支洲岛：位于海南岛东南部，是潜水爱好者的天堂。这里的潜水条件优越，拥有丰富的珊瑚礁和海洋生物。
# - 莺歌海：位于海南岛西南部，这里的海水清澈，潜水 visibility 很高，非常适合潜水。

# 当然，还有其他一些景点也适合冲浪和潜水，如海南岛的东海岸、西海岸等。具体选择取决于您的兴趣和经验。希望这些建议对您有所帮助！
response, history = process_response(response, history)

role="user"
text="可以帮我做一份旅游攻略吗？"
inputs = tokenizer.build_chat_input(text, history=history, role=role)
inputs = inputs['input_ids']
history.append({'role':role, 'content':text}) # 第四个输入
outputs = model.generate(inputs, **gen_kwargs)
outputs =outputs[0][len(inputs[0]):-1]
response = tokenizer.decode(outputs)
print(response, flush=True)
#  当然可以！以下是一份简要的海南旅游攻略，供您参考：

# 一、行程安排：
# 建议行程为 4-5 天，具体行程可以根据您的需求和时间进行调整。

# 1. 第一天：抵达三亚，入住酒店，适应一下当地的气候和环境。
# 2. 第二天：游览亚龙湾，享受阳光和沙滩，晚上品尝当地的美食。
# 3. 第三天：游览南山寺，感受佛教文化的魅力，晚上可以在三亚市区品尝当地的美食。
# 4. 第四天：前往蜈支洲岛，享受潜水和冲浪的乐趣，晚上返回三亚。
# 5. 第五天：前往博鳌亚洲论坛永久会址，游览博鳌 town，晚上返回三亚，结束行程。

# 二、景点推荐：
# 1. 海南岛：这是海南最著名的景点之一，拥有美丽的沙滩和热带雨林。
# 2. 亚龙湾：这是海南最著名的海滩之一，拥有柔软的沙滩和清澈的海水。
# 3. 南山寺：这是海南最著名的佛教寺庙之一，拥有精美的建筑和悠久的历史。
# 4. 博鳌亚洲论坛永久会址：这是中国最著名的国际会议中心，位于海南岛东海岸。

# 三、美食推荐：
# 1. 海南鸡饭：这是海南最著名的美食之一，由鸡肉、米饭和椰汁组成。
# 2. 海鲜：海南岛周围的海域拥有丰富的海鲜资源，包括螃蟹、龙虾、鱼类等。
# 3. 椰子饭：这是海南最著名的传统美食之一，由椰子肉和糯米组成。
# 4. 海南粉：这是海南的一种传统小吃，由米粉和各种肉类、海鲜、蔬菜组成。

# 四、住宿推荐：
# 建议选择三亚市区的酒店，这样可以方便您游览市区和品尝当地的美食。

# 希望这份攻略对您有所帮助，如果您还有其他问题，请随时问我。
response, history = process_response(response, history)

model:
  model_config:
    checkpoint_name_or_path: "/path/to/glm3_6b.ckpt"

export MS_ASCEND_CHECK_OVERFLOW_MODE="INFNAN_MODE"

python -c "import mindspore;mindspore.set_context(device_target='Ascend');mindspore.run_check()"

MindSpore version: 版本号
The result of multiplication calculation is correct, MindSpore has been installed on platform [Ascend] successfully!

export ASCEND_GLOBAL_EVENT_ENABLE=0
export ASCEND_GLOBAL_LOG_LEVEL=2
export ASCEND_SLOG_PRINT_TO_STDOUT=1

unset ASCEND_GLOBAL_EVENT_ENABLE ASCEND_GLOBAL_LOG_LEVEL ASCEND_SLOG_PRINT_TO_STDOUT