save_distill_model【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明蒸馏接口根据用户最终的蒸馏好的模型生成最终量化精度仿真模型以及量化部署模型。函数原型save_distill_model(model, save_path, input_data, record_fileNone, input_namesNone, output_namesNone, dynamic_axesNone)参数说明参数名输入/输出说明model输入含义已进行蒸馏后的量化模型。数据类型torch.nn.Modulesave_path输入含义蒸馏后的量化模型存放路径。该路径需要包含模型名前缀例如./quantized_model/*model。数据类型stringinput_data输入含义模型的输入数据。一个torch.tensor会被等价为tupletorch.tensor。数据类型tuplerecord_file输入含义量化因子记录文件路径及名称。默认值None数据类型string使用约束传入值为None的情况下量化因子记录文件存放在amct_log文件夹中。input_names输入含义模型输入节点的名称用于在保存的量化onnx模型中显示。默认值None数据类型list(string)output_names输入含义模型输出节点的名称用于在保存的量化onnx模型中显示。默认值None数据类型list(string)dynamic_axes输入含义对模型输入输出动态轴的指定例如对于输入inputsNCHWN、H、W为不确定大小输出outputsNLN为不确定大小则指定形式为{inputs: [0,2,3], outputs: [0]}其中0,2,3分别表示NHW所在位置的索引。默认值None数据类型dictstring, dictpython:int, string or dictstring, list(int)返回值说明无调用示例import amct_pytorch as amct # 建立待进行蒸馏量化的网络图结构 model build_model() model.load_state_dict(torch.load(state_dict_path)) input_data tuple([torch.randn(input_shape)]) # 插入蒸馏API将蒸馏的模型存为onnx文件 amct.save_distill_model( model, ./model/distilled, input_data, record_file./results/records.txt, input_names[input], output_names[output], dynamic_axes{input:{0: batch_size}, output:{0: batch_size}})落盘文件说明精度仿真模型文件ONNX格式的模型文件模型名中包含fake_quant可以在ONNX Runtime环境进行精度仿真。部署模型文件ONNX格式的模型文件模型名中包含deploy经过ATC转换工具转换后可部署到AI处理器。重新执行蒸馏时该接口输出的上述文件将会被覆盖。【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考