Flashcat 专业版日志对接文档

用户3312

2025年3月25日修改

一、简介

flashcat 对接日志可以使用如下链路

categraf -> kafka -> logstash -> es -> n9e

采集日志并在 n9e 上可视化和配置告警的逻辑如下：

1.
使用categraf从 file/journald/tcp/udp 中采集日志数据，作为生产者推送到 kafka 中；​

2.
使用 logstash 作为消费者，消费 kafka 中的日志数据，按规则处理完后存入 es；​

3.
n9e 配置 es 的日志数据源，在日志分析模块查看和配置告警规则。​

注意：从 kafka 消费日志数据存入 es 的 "kafka->logstash->es" 链路不是categraf封装的功能，需要自行下载相关工具配置，这也仅是数据消费存入es推荐的链路，读者可选择其它方式将kafka中存储的日志数据消费至es或其它n9e支持的日志存储源中。​

二、categraf 采集日志数据，推送至 kafka

categraf 从哪里采集日志数据，推送到哪个 kafka 中的配置信息均在 conf/logs.toml 中，该配置文件的详细说明官方文档可查，在这里仅以从日志文件中采集数据，推送到kafka中为例。​

2.1、kafka 环境准备

首先，如果你已经有 kafka 环境，直接跳到2.2即可；如果没有，你想快速使用，可以使用 docker-compose 快速安装：​

下面所有的**ip（192.168.230.151）**地址需要换成你机器的 ip。

编写docker-compose.yaml文件。

代码块

version: '3'​
​
services:​
  zookeeper:​
    image: wurstmeister/zookeeper​
    ports:​
      - "2181:2181"​
​
  kafka:​
    image: wurstmeister/kafka​
    ports:​
      - "9092:9092"​
    environment:​
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.230.151:9092​
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092​
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181​
    volumes:​
      - /var/run/docker.sock:/var/run/docker.sock​
    depends_on:​
      - zookeeper​

启动容器

代码块

# 启动容器​
docker-compose up -d​
# 查看运行中的容器，kafka、zookeeper是否正常运行​
docker ps ​

如果你想测试kafka连通性，可以按如下步骤：

代码块

# 首先进入kafka容器​
docker exec -it default_kafka_1 /bin/bash​
# 然后运行kafka生产者脚本，发送消息​
kafka-console-producer.sh --topic test-topic --bootstrap-server 192.168.230.151:9092​
# 最后运行kafka消费者脚本，消费信息，若能正常消费信息，说明kafka正常。​
kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server 192.168.230.151:9092​

2.2、categraf 配置 conf/logs.toml 采集日志

Flashcat 专业版日志对接文档​

Flashcat 专业版日志对接文档