Chitu (赤兔) 是一个专注于效率、灵活性和可用性的高性能大语言模型推理框架。 最新动态 [2025/03/28] 提供 FP8 转 FP16 算子以支持更多型号 GPU。 [2025/03/21] 更好地支持了 QwQ-32B，其中 QwQ-32B FP8 量化模型将开源至 Huggingface。 [2025/03/14] 清华团队开源大模型推理引擎 ...