Tag archives for LLM
在本地跑大模型：Ollama 让 AI 触手可及
当 ChatGPT、Claude 这些云端 AI 助手已经成为无数人的日常工具时，一个悄然兴起的趋势正在开源社区蓬勃发展——把大语言模型搬到你自己的电脑上运行。 这就是 Ollama 正在做的事情。 …
微软开源黑科技！1-bit模型推理框架BitNet来了，显卡杀手终于有救了
你有没有遇到过这种情况？本地跑个大模型，结果显卡风扇转得跟直升机似的，显存直接爆掉。别问我怎么知道的，说多了都是泪。 但微软最近开源的一个项目，可能要改变这个局面。 ## 什么是BitNet？ Bit…
iPhone 上跑通本地大语言模型- Fullmoon 开源项目
Fullmoon 开源项目是一款基于苹果生态的 iOS/macOS 本地大语言模型（LLM）聊天应用。它利用 Apple Silicon 强大的算力和 Apple 开源的 MLX Swift 框架，实…
微软开源AI标记语言POML
2025年8月13日，微软正式开源 POML（Prompt Orchestration Markup Language） ，这是一种专为大型语言模型（LLMs）设计的提示编排标记语言，旨在解决传统提示…
本地化运行的AI文档解析神器-pdf-extract-api
pdf-extract-api 是一款基于现代光学字符识别（OCR）技术和大型语言模型（LLM）的开源工具，专注于将图像或PDF文档转换为高精度的结构化Markdown或JSON格式。其核心优势在于完…