无问芯穹Qllm助您轻松决策 大模型压缩量化方案指南

作者：李师尧 (无问芯穹 TechView)

简介

随着大语言模型 (LLM) 在各种应用程序中变得越来越流行，对其进行压缩以部署到资源受限的设备变得越来越重要。量化是一种常用的压缩技术，它可以将模型参数和激活值表示为低精度格式，从而减少存储和计算成本。

量化通常是有损的，不同的量化方法会对模型性能产生不同的影响。为了解决这个问题，来自清华大学电子工程系、无问芯穹和上海交通大学的研究团队开发了 Qllm-Eval，这是一种评估量化 LLM 的大规模基准。

Qllm-Eval 的评估范围

Qllm-Eval 评估了以下方面：

• 不同模型：OPT、LLaMA2、Falcon、Bloomz、Mistral、ChatGLM、Vicuna、LongChat、StableLM、Gemma 和 Mamba。
• 量化张量类型：权重、权重-激活、KVCache。
• 量化方法：SOTA 量化方法，包括统一量化和自适应量化。
• 任务类型：基本自然语言处理能力、涌现能力、可信度、对话能力和长文本能力。

量化对 LLM 的影响

Qllm-Eval 发现量化对 LLM 的影响各不相同，具体取决于模型、张量类型和量化方法。量化往往会降低 LLM 的性能，但这种下降程度可以通过选择合适的量化方法和张量类型来最小化。

Qllm-Eval 还发现，

马上收录导航

---

---

相关标签： 无问芯穹、 算子、 qllm、 张量、 大模型、

上一篇：房市调整过程持续推进政策效应逐步释放

下一篇：缺阵约15天姆巴佩伤情最新动态八强战方能回