面向大语言模型的高吞吐量与内存优化型推理服务引擎
📊 项目信息
- 语言
- Python
- Stars
- ⭐ 86,350
- Forks
- 19,461
- 今日新增
- +104
- 排名
- #12
- 收录
- 语言榜
- 趋势日期
- 2026年7月15日
- 最后推送
- 2026/7/15
🏷️ 标签
amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinferencekimillamallmllm-servingmodel-servingmoeopenaipytorchqwenqwen3tputransformer