面向大语言模型的高吞吐量与内存优化型推理服务引擎
📊 项目信息
- 语言
- Python
- Stars
- ⭐ 81,183
- Forks
- 17,321
- 今日新增
- +121
- 排名
- #8
- 收录
- 语言榜
- 趋势日期
- 2026年5月27日
- 最后推送
- 2026/5/27
🏷️ 标签
amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinferencekimillamallmllm-servingmodel-servingmoeopenaipytorchqwenqwen3tputransformer