系统1：多源知识采集与调度大盘

--:--:--

累计采集原始文档

1,248,503

今日 +2,401 存入 MinIO

活跃并发节点 / 线程

24 / 128

分布式 Go Worker

全速运行中

API 请求频率 (QPS)

45.2次/秒

限频拦截: 0次 动态代理 IP: 正常

失败重试队列 (Kafka)

12

主要原因: PDF解析超时/验证码

多源知识类型分布

近期增量采集吞吐趋势 (篇/项)

核心采集任务调度队列

自动定时增量抓取
  • 学术论文数据库 (知网/万方)
    Running
    关键词: 碳酸钙, 改性, 研磨 75% (8,210/11,000)
  • 专利数据库 (CNIPA API)
    Running
    增量同步: 本月新公开碳酸钙专利 42% (128/305)
  • 环保政策与标准网蜘蛛
    Waiting
    调度策略: 每日凌晨 02:00 --
  • 合作企业内部工艺文档库
    Running
    接口: 内网 FTP/SMB 挂载增量扫描 90% (45/50)

实时文本获取与落库日志

实时更新
[10:00:01] [INFO] 采集引擎启动，连接 PostgreSQL / MinIO 成功。
返回主页面