企业本地 AI 基础设施

业务背景

企业需要在本地环境中使用大模型，并为问答、知识库和后续业务应用提供统一的基础服务。项目采用分阶段交付，先建设基础设施，再推进业务应用。

实践方法

• 评估 GPU 运行环境，采用 Linux 裸机与容器化服务，减少部署和排障链路的复杂度。
• 以 vLLM 提供模型推理，通过 LiteLLM 统一模型访问；使用 Open WebUI 提供对话入口。
• 以 Dify 与独立的 Embedding / Reranker 服务搭建知识库链路，并配套监控与部署文档。

阶段成果

项目文档记录了本地推理、模型网关、对话入口、知识库组件与监控的实施。这些内容构成后续业务应用的基础。

带来的思考

私有化 AI 的难点不止是让模型跑起来，还包括资源规划、数据边界、服务恢复和交付可维护性。