StreamSparkAI

音频媒体文件

清除
标签搜索结果 for "vLLM"
2025-11-10 | GOSIM开源创新汇 | vLLM: 人人可用的简单、快速且低成本的大模型服务方案
2025-11-16 17:17

vLLM团队分享开源推理引擎最新进展：支持百余模型、多硬件平台，加入PyTorch基金会成为顶级项目

vLLM 大模型推理 PageAttention KV Cache管理 PyTorch基金会 开源推理引擎 Continuous Batching 多模态模型 硬件加速 模型服务部署 Torch Compile CUDA Graph优化
已摘要 阅读时间：8 分钟（2724 个字） 2 summary versions
2025-06-15 | 字节开源 AIBrix 基于vLLM的高性价比LLM推理加速方案
2025-06-17 09:41

字节开源AIBrix：基于vLLM的高性价比大模型推理加速方案

AIBrix LLM推理 vLLM 成本优化 性能优化 KV Cache优化 PD分离 LoRA Kubernetes 云原生 开源 推理加速
已摘要 阅读时间：10 分钟（3361 个字） 1 summary version
Qwen3-30B-A3B Mixture of Expert: Think Deeper, Act Faster - Install Locally
2025-06-04 11:12

Qwen3-30B-A3B Mixture of Expert模型本地安装与实测表现

Qwen3-30B-A3B MoE架构 大语言模型 本地部署 性能评测 人工智能 vLLM 逻辑推理 多语言能力 代码生成 阿里巴巴
已摘要 阅读时间：7 分钟（2405 个字） 1 summary version
Trelis Research | Fine tune Gemma 3, Qwen3, Llama 4, Phi 4 and Mistral Small with Unsloth and Transformers
2025-05-31 19:44

微调主流开源大模型：对比Unsloth与Transformers性能及技巧解析

大语言模型微调 Unsloth Transformers vLLM 开源大模型 LoRA 模型评估 数据准备 AI 性能对比
已摘要 阅读时间：9 分钟（3054 个字） 1 summary version