create_compressed_retrain_model【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT量化感知训练INT8量化√INT4量化x通道稀疏√4选2结构化稀疏xAtlas A3 训练系列产品 / Atlas A3 推理系列产品量化感知训练INT8量化√INT4量化x通道稀疏√4选2结构化稀疏√Atlas A2 训练系列产品 / Atlas A2 推理系列产品量化感知训练INT8量化√INT4量化x通道稀疏√4选2结构化稀疏√注特性中标记“x”的产品调用接口不会报错但是获取不到性能收益。功能说明静态组合压缩接口将输入的待静态组合压缩的模型按照给定的组合压缩配置文件进行压缩处理即将传入的模型先进行稀疏通道稀疏或者4选2结构化稀疏二选一后对模型插入量化相关的算子数据和权重的量化感知训练层以及searchN的层生成稀疏和量化因子记录文件record_file如果配置存在返回修改后的torch.nn.Module模型。函数原型compressed_retrain_model create_compressed_retrain_model(model, input_data, config_defination, record_file)参数说明参数名输入/输出说明model输入含义PyTorch的model。数据类型torch.nn.Moduleinput_data输入含义模型的输入数据。数据类型tupleconfig_defination输入含义静态组合压缩简易配置文件。基于retrain_config_pytorch.proto文件生成的简易配置文件compressed.cfg*.proto文件所在路径为AMCT安装目录/amct_pytorch/proto/。*.proto文件参数解释以及生成的compressed.cfg简易配置文件样例请参见量化感知训练简易配置文件。数据类型stringrecord_file输入含义待记录稀疏和量化因子文件路径及名称。数据类型string返回值说明根据配置文件进行稀疏后如果配置稀疏且插入量化相关层如果配置量化的torch.nn.Module静态组合压缩模型。约束说明组合压缩配置文件至少存在一个配置稀疏配置或者量化配置。调用示例import amct_pytorch as amct # 建立待进行静态组合压缩的网络 model build_model() input_data tuple([torch.randn(input_shape)]) # 调用静态组合压缩API record_file os.path.join(TMP, compressed_record.txt) config_defination ./compressed_cfg.cfg compressed_retrain_model amct.create_compressed_retrain_model( model, input_data, config_defination, record_file)落盘文件说明保存的静态组合压缩记录文件record_file如果简易配置文件中含有稀疏配置则在该函数完成后record_file中含有稀疏记录信息。【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考