自回归解码已然成为大语言模型的推理标准。大语言模型每次前向计算需要访问它全部的参数，但只能得到一个 token，导致其生成昂贵且缓慢。 近日，EAGLE 团队的新作《EAGLE-3: Scaling up Inference Acceleration ...

来自墨尔本大学、西澳大学、香港城市大学和慕尼黑工业大学提出了水印保护新范式 —— THEMIS 框架 ，首个针对移动端 AI 模型部署后保护提出的系统性解决方案。该研究已被全球顶级安全会议 USENIX Security 2025 接收。

作者｜沐风来源｜AI先锋官近日，DeepSeek和清华大学共同发表了一篇论文《Inference-Time Scaling for Generalist Reward Modeling》，探讨了奖励模型的推理时Scaling方法。现在，强化学习（RL ...

在Reward Bench、PPE、RMB等基准上，DeepSeek-GRM-27B显著优于基线方法（如LLM-as-a-Judge、标量RM），且通过推理时扩展（32次采样）性能进一步提升（如Reward Bench准确率从86.0%提升至90.4 ...

（全球TMT2025年4月6日讯）Super Micro Computer, Inc. (SMCI)宣布使用NVIDIA HGX B200 8-GPU在多个MLPerf Inference v5.0基准测试中率先实现了业界领先的性能。在特定基准测试中，4U液冷和10U风冷系统实现了最佳性能。与H200 8-GPU系统相比，Supermicro在Llama2-70B和Llama3.1-405B基准测 ...

3月19日，NVIDIA英伟达今日宣布推出NVIDIA Blackwell AI工厂平台的新一代产品 —— NVIDIA Blackwell Ultra，开启了AI推理新时代。 NVIDIA Blackwell Ultra 提升了训练和测试时扩展推理能力(test-time scaling inference)， 即通过在推理过程中增加计算量来提升准确率的技术，以帮助全球各地的企业加速AI推理、代 ...