Vectum - 基于Vector的可视化数据管道管理工具

项目核心定位

Vectum 是一款基于 Vector 封装的轻量级数据管道管理工具，面向运维/DevOps 团队，提供可视化界面 + RESTful API + MCP 协议三位一体能力，用于统一管理、调度、监控多实例 Vector 数据采集任务，支持日志、指标、安全审计数据的全链路采集、转换与转发。

当前项目已完成基础产品化，支持通过 docker-compose 快速启动，并提供 Web/API 服务、Swagger 文档和 MCP SSE 接口。

当前行业痛点

纯命令行操作，运维门槛高

Vector 原生采用 YAML 配置文件和命令行操作方式，参数众多、语法复杂，运维人员需要记忆大量命令和配置规则，学习成本高、误操作风险大。

多实例管理困难

当需要运行多个数据采集任务时，每个任务需要独立进程、独立配置，进程管理、资源分配、日志汇总都变得复杂，难以实现统一管控。

配置编写成本高

Vector 的配置语法虽然强大但相对复杂，从零编写符合业务需求的配置需要深入理解各个组件的参数含义和组合方式。

无统一监控与日志入口

原生 Vector 缺乏可视化的监控面板，无法直观查看任务运行状态、资源占用和日志输出，排查问题需要登录服务器手动查看。

核心解决思路

核心思想：Vector 多实例编排 + 可视化运维 + API 化管理 + MCP 智能体

可视化操作界面：提供 Web UI 管理界面，通过表单和图形化操作替代命令行，业务人员也能轻松管理数据管道

多实例隔离运行：每个任务对应独立 Vector 进程，进程隔离、配置隔离、日志隔离，支持并行运行任意数量采集任务

RESTful API 标准化：提供完整的 HTTP API 接口，支持任务管理、启停控制、日志查询、状态监控，方便与现有系统集成

MCP 协议智能化：暴露标准 MCP 接口，支持 AI 智能体调用，通过自然语言即可生成 Vector 配置，降低配置门槛

统一监控面板：集中查看任务运行状态、进程信息和日志输出，快速定位和解决问题

已交付能力

多实例 Vector 管理

每个任务对应独立 Vector 进程，配置、日志和脚本隔离，支持多任务并行运行。

Web UI 可视化管理

支持表单创建任务、任务列表管理、启动停止、编辑删除、运行状态查看和日志检索。

RESTful API 集成

提供任务创建、更新、删除、批量操作、查询详情、启停控制和日志读取等标准接口。

MCP 智能体接入

提供 MCP SSE 接口，支持 AI 客户端通过自然语言生成 Vector 配置并部署为任务。

技术架构

底层：实例运行层

每个实例拥有独立文件隔离空间（配置、日志、脚本），通过命令行指令启动，支持多实例并行运行。

中间层：平台核心管理层

工作空间管理：实例独立空间生命周期管理
命令行管理：封装底层命令行操作
调度管理：任务调度、资源分配、状态监控
RESTful API 封装：标准化 HTTP 接口

上层：接入层

业务系统对接：通过 API 集成
AI 智能体对接：通过 MCP 协议
可视化操作：Web UI 界面

技术栈

技术选型

语言：Java 17
框架：Spring Boot 3.2.0
数据管道：Vector 0.35+
API 文档：SpringDoc OpenAPI 2.3.0
构建工具：Maven 3.8+
部署方式：Docker / docker-compose

快速运行

docker-compose 启动

启动命令：进入 vectum/deploy 后执行 docker-compose up -d

Web/API 服务：http://<ip>:11002
Swagger 文档：http://<ip>:11002/swagger-ui/index.html
MCP 接口：http://<ip>:11002/sse

接口范围

任务管理 API

基础路径：/vectum/api/v1/task

已覆盖任务创建、更新、删除、批量操作、查询全部、查看详情、启动/停止任务和日志读取等接口。

版本规划路线图

V1.0 API 接口版

已完成

▼

创建任务：创建新的数据推送任务
删除任务：根据 ID 删除单个任务
批量删除：批量删除多个任务
更新任务：根据 ID 更新任务信息
批量更新：批量更新多个任务
查询所有：获取所有任务列表
查询详情：根据 ID 查询任务详情
启停控制：切换任务运行状态
获取日志：获取任务日志内容

V1.1 可视化操作版

已完成

▼

表格展示任务列表：包括任务名称、描述信息、任务配置、状态、进程、更新和创建时间等
创建任务：表单提交，包含名称、描述、配置编辑器
编辑任务：表单修改，支持修改所有字段
启动/停止：根据状态显示启动/停止按钮，确认后操作
可查看任务日志：分控制台日志和系统日志分别显示

V1.2 MCP 服务版

已完成

▼

基于API接口封装MCP服务
支持对接AI Agent应用

典型使用场景

服务器日志采集

统一采集 Nginx、Syslog、应用日志等服务器侧数据。

云原生数据采集

处理 K8s 日志、指标和审计数据，方便接入后续分析系统。

安全日志转发

将安全审计日志统一转发到 Elasticsearch、Splunk 等平台。

AI 自动化配置

通过 MCP 接入 AI 客户端，用自然语言生成数据管道配置。

项目优势

轻量无依赖，底层 Vector 单二进制，部署和维护成本低
Docker / docker-compose 均可快速部署
多实例隔离，任务之间互不影响
Web UI + API + MCP 覆盖人工操作、系统集成和 AI 调用
支持 YAML、TOML、JSON 三种 Vector 配置格式

项目进度

Vectum 活动已完成，当前仓库已提供 Web/API 服务、Swagger 文档、MCP 接口、Docker 构建与部署说明。

已完成

当前状态：已完成并开放源码，可继续通过 Gitee 提交 Issue 或 Pull Request。

Vectum 数据管道管理工具