开源软件

SGLang 刷爆 GitHub 趋势:这个”省显存”的神器,让 AI 推理快到飞起

本地跑个大模型,刚跑完一轮对话,第二轮就开始卡成PPT? 我最近就这样。受够了每次跟 AI 对话都要重新"预热"的痛苦,去 GitHub 上挖了一下有没有什么好办法,然后就发现了 SGLang——一个…
继续阅读