Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0性能评测GSM8K基准测试仅损失0.47%准确率【免费下载链接】Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0是一款基于Mixtral-8x7B-Instruct-v0.1模型进行8位动态量化优化的高性能文本生成模型特别针对AMD EPYC CPU环境进行了深度优化在保持卓越推理能力的同时显著提升了运行效率。模型核心特性解析先进的混合专家架构该模型采用MixtralForCausalLM架构这是一种创新的混合专家Mixture-of-Experts, MoE模型结构。它包含8个本地专家num_local_experts: 8每个token在处理时会动态选择2个专家num_experts_per_tok: 2参与计算这种设计既保证了模型的表达能力又有效控制了计算成本。模型基础参数配置如下隐藏层维度4096hidden_size注意力头数量32num_attention_heads隐藏层数量32num_hidden_layers中间层维度14336intermediate_size最大上下文长度32768max_position_embeddings词汇表大小32000vocab_size高效的8位动态量化技术通过TorchAO v0.17.0 quantization framework实现了先进的8位动态激活和8位权重量化quantization_config: Int8DynamicActivationInt8WeightConfig采用对称映射类型act_mapping_type: SYMMETRIC。量化过程智能跳过了关键组件语言模型头lm_head路由层router门控层gate这些组件保留在bfloat16精度确保了模型关键部分的计算准确性。性能评测准确率与效率的平衡GSM8K数学推理能力测试在严格的5-shot GSM8K数学推理基准测试中该量化模型表现出色BF16基准模型准确率64.29%8位动态量化模型准确率63.99%精度损失仅0.47%这一结果证明了TorchAO量化技术的有效性在大幅降低计算资源需求的同时几乎不损失模型的推理能力。评测环境与方法评测使用lm-evaluation-harness v0.4.12配合vLLM v0.23.0推理引擎具体命令如下lm_eval \ --model vllm \ --model_args pretrainedamd/Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0,tokenizermistralai/Mixtral-8x7B-Instruct-v0.1,dtypebfloat16 \ --tasks gsm8k \ --batch_size auto \ --trust_remote_code \ --num_fewshot 5 \ --log_samples \ --gen_kwargs max_gen_toks2048 \ --apply_chat_template \ --output_path .快速上手指南系统要求硬件AMD EPYC CPU操作系统Linux推荐运行时库gperftools2.17.2llvm-openmp18.1.8环境配置安装依赖包pip install --extra-index-url https://download.pytorch.org/whl/cpu \ --extra-index-url https://wheels.vllm.ai/cpu/ \ torch2.11.0cpu \ vllm0.23.0 \ torchao0.17.0 \ lm-eval[vllm]0.4.12 \ huggingface_hub配置环境变量# TorchInductor zentorch优化 export TORCHINDUCTOR_FREEZING1 export TORCHINDUCTOR_AUTOGRAD_CACHE0 export VLLM_USE_AOT_COMPILE0 export ZENDNNL_MATMUL_ALGO1 export ZENTORCH_FUSED_MOE1 # 对Mixtral-8x7B (MoE)模型特别推荐 # CPU运行时库 export LD_PRELOADpath to lib/libtcmalloc_minimal.so.4:path to lib/libiomp5.so${LD_PRELOAD::$LD_PRELOAD}获取模型git clone https://gitcode.com/hf_mirrors/amd/Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0模型局限性说明版本锁定该模型使用TorchAO v0.17.0量化仅兼容PyTorch v2.11.0和ZenDNN v6.0.0其他版本可能无法正确加载。序列化格式权重存储为分块的pytorch_model-*.bin文件而非safetensors格式这是因为torchao的Int8Tensor子类目前无法通过safetensors正确序列化。加载器布局专家权重采用传统的block_sparse_moe.experts.{i}.w1/w2/w3布局以保持与vLLM的mixtral.py权重加载器的兼容性。CPU专用模型针对AMD EPYC CPU推理进行了优化不建议用于GPU环境。许可证信息本模型遵循与源模型相同的许可协议详细信息请参见LICENSE文件。修改部分的版权(c) 2026 Advanced Micro Devices, Inc. 保留所有权利。【免费下载链接】Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mixtral-8x7B-Instruct-v0.1-da8w8-torchao-v0.17.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考