alibaba

alibaba / rtp-llm

#1
1,279238+2 todayCuda
在 GitHub 上查看

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

📊 项目信息

语言
Cuda
Stars
⭐ 1,279
Forks
238
今日新增
+2
排名
#1
收录
语言榜
趋势日期
2026年7月18日
最后推送
2026/7/18

🏷️ 标签

gptinferencellamallmllm-servingllmopsmodel-serving

📸 截图

rtp-llm screenshot 1