3月11日，硅基流动宣布，即刻起，硅基流动Silicon Cloud平台的DeepSeek-R1 & V3API支持批量推理（Batch Inference）。用户通过批量API发送请求到Silicon Cloud，不受实时推理速率限制的影响，预期可在24小时内完成任务。相比实时推理，DeepSeek-V3批量推理价格直降50%，其中，3月11日至3月18日，DeepSeek-R1批量推理优惠价格 ...

2025年3月1日，DeepSeek发布了其最新的《OneMoreThing, DeepSeek-V3/R1 Inference System ...

Together AI 的数据中心配备了多种 Nvidia Corp. GPU，包括芯片制造商最新最强大的处理器 Blackwell B200。 Together AI 在名为 Inference Engine 的软件系统上运行客户的 AI 模型。据该公司称，其推理性能是主要公有云服务的两倍以上。该软件实现高速度的方式之一是将 ...

LLM-Dojo使用简洁且易阅读的代码构建LLM、VLM模型训练、RLHF框架等各种功能，使项目易于学习且方便魔改与实验，与大多开源框架相同均是基于huggingface。 主要内容如下： SFT训练框架: 简洁清晰的开源大模型训练框架，支持Deepspeed多卡、Lora、QLora、全参等训练 ...