开源软件

SGLang 刷爆 GitHub 趋势:这个”省显存”的神器,让 AI 推理快到飞起

你有没有遇到过这种情况——本地跑个大模型,刚跑完一轮对话,第二轮就开始卡成PPT? 我最近就这样。受够了每次跟 AI 对话都要重新"预热"的痛苦,去 GitHub 上挖了一下有没有什么好办法,然后就发…
继续阅读