fluent-bit - 适用于 Linux、BSD、OSX 和 Windows 的快速轻量级日志和指标处理器

Created at: 2015-01-28 04:41:52
开发语言: C
授权协议: Apache-2.0

商标

孔子学院状态

首席信息官工作流程 地位
单元测试(主) CI/单元测试
集成测试(主测试) 置信区/集成测试
最新版本 CI/构建

项目描述

Fluent Bit 是一款适用于 Linux、视窗、嵌入式 Linux、MacOS 和 BSD 系列操作系统的快速日志处理器和转发器。它是毕业流利生态系统和CNCF子项目的一部分。

Fluent Bit允许从不同的来源收集日志事件或指标,处理它们并将其交付给不同的后端,例如 Fluentd、弹性搜索、Splunk、DataDog、 Kafka 、新遗迹、Azure 服务、AWS 服务、谷歌服务、NATS、流入数据库或任何自定义 HTTP 端点。

Fluent Bit 具有完整的 SQL 流处理功能:使用 SQL 查询进行数据操作和分析。

Fluent Bit 可在 x86_64、x86、arm32v7 和 arm64v8 架构上运行。

特征

  • 高性能
  • 数据解析
  • 可靠性和数据完整性
  • 联网
    • 安全性:内置红绿/单反光系统支持
    • 异步输入/输出
  • 可插拔架构和可扩展性:输入、滤波器和输出
  • 监控:通过 HTTP 以 JSON 和普罗米修斯格式公开内部指标
  • 流处理:使用简单的 SQL 查询执行数据选择和转换
    • 使用查询结果创建新的数据流
    • 聚合窗口
    • 数据分析和预测:时间序列预测
  • 便携式:在 Linux、MacOS、视窗和 BSD 系统上运行

生产中的流利位

流利位广泛用于生产环境。2020年,Fluent Bit的部署次数超过2.2亿次,并且每天继续部署超过100万次。以下是在生产中大量使用 Fluent Bit 的用户的预览:

如果你的公司使用 Fluent Bit 并且未列出,请随时打开 Github 问题,我们将添加徽标。

用户

文档

我们有关安装配置、部署和开发主题的官方项目文档位于此处:

快速入门

从头开始构建

如果你的目标是从源代码构建 Fluent Bit,则可以继续从以下命令开始。

cd build
cmake ..
make
bin/fluent-bit -i cpu -o stdout -f 1

如果你对更多详细信息感兴趣,请参阅“构建和安装”部分。

要求

  • >= 3.0
  • 野牛
  • 翻译图书馆/头文件
  • 开放软件库/头文件

操作系统软件包

我们为最常见的 Linux 发行版提供软件包:

Linux / Docker Container Images

我们的 Linux 容器映像是最常见的部署模型,每天都会发生数千个新安装,请在此处了解有关可用映像和标记的更多信息。

视窗软件包

Fluent 位在 Windows 环境中完全受支持,请从这些说明开始。

插件:输入、过滤器和输出

Fluent Bit基于可插拔架构,其中不同的插件在数据管道中起主要作用:

输入插件

名字 标题 描述
已收集 已收集 侦听来自“收集”的 UDP 数据包。
中央处理器 中央处理器使用率 测量系统的总 CPU 使用率。
磁盘 磁盘使用情况 测量磁盘 I/O。
虚拟 虚拟 生成虚拟事件。
执行 执行 执行外部程序并收集事件日志。
向前 向前 流利的转发协议。
读取文件的第一部分。
健康 健康 检查 TCP 服务的运行状况。
公里 内核日志缓冲区 读取 Linux 内核日志缓冲区消息。
记忆 内存使用情况 测量系统上使用的内存总量。
断续器 断续器 启动 MQTT 服务器并接收发布消息。
网易娱乐 网络流量 测量网络流量。
过程 过程 检查进程的运行状况。
随机 随机 生成随机样本。
串行 串行接口 从串行接口读取数据信息。
斯特丁 标准输入 从标准输入读取数据。
系统日志 系统日志 从 Unix 套接字读取系统日志消息。
系统化 系统化 从系统/日志读取日志。
尾巴 尾巴 尾部日志文件。
断续器 断续器 通过 TCP 侦听 JSON 消息。
烫的 烫的 测量系统温度。

过滤器插件

名字 标题 描述
一个 AWS 元数据 使用 AWS 元数据丰富日志。
期望 期望 验证记录是否与结构中的特定条件匹配。
格雷普 格雷普 按模式匹配或排除特定记录。
kubernetes 库伯内特斯 使用库伯内特元数据丰富日志。
鲁阿 路亚 使用 Lua 脚本筛选记录。
解析 器 解析 器 解析记录。
record_modifier 记录修饰符 修改记录。
rewrite_tag 重写标记 在新标记下重新发出记录。
标准 标准 将记录打印到标准输出接口。
节流阀 节流阀 将速率限制应用于事件流。
将记录嵌套在指定键下
修改 修改 修改以记录。

输出插件

名字 标题 描述
天蓝色 Azure Log Analytics 将记录引入 Azure 日志分析
大奎里 大查询 将记录引入谷歌大查询
计数器 计数记录 简单记录计数器。
数据狗 数据狗 将日志引入数据狗。
断续器 弹性搜索 将记录刷新到弹性搜索服务器。
文件 文件 将记录刷新到文件。
流量计数器 流量计数器 计数记录。
向前 向前 流利的转发协议。
盖尔夫 盖尔夫 将记录刷新到灰色日志
断续器 断续器 将记录刷新到 HTTP 终结点。
涌入数据库 涌入数据库 将记录刷新到流入数据库时序数据库。
卡 夫 卡 Apache Kafka 将唱片刷新到 Apache Kafka
Kafka 休息 Kafka REST 代理 将记录刷新到 Kafka REST 代理服务器。
洛基 洛基 将记录刷新到洛基服务器。
纳茨 国家统计局 将记录刷新到 NATS 服务器。
丢弃事件。
s3 S3 将记录刷新到 s3
堆栈驱动程序 谷歌堆栈驱动程序日志记录 将记录刷新到谷歌堆栈驱动程序日志记录服务。
标准 标准输出 将记录刷新到标准输出。
啪啪 斯普伦克 将记录刷新到 Splunk 企业服务
断续器 网络通信 将记录刷新到 TCP 服务器。
断续器 宝藏数据 将记录刷新到宝藏数据云服务进行分析。

贡献

Fluent Bit是一个开放的项目,几个个人和公司以不同的形式做出贡献,如编码,记录,测试,在其他内部的活动中传播这个词。如果你想了解有关贡献机会的更多信息,请通过我们的社区渠道与我们联系。

如果你有兴趣通过错误修复、新功能或一般编码为 Fluent 位做出贡献,请参阅代码贡献指南。你还可以参考初学者指南,为 Fluent Bit 做出贡献 请点击此处。.

社区 & 联系

欢迎加入我们的Slack频道,邮件列表或IRC:

许可证

此程序受 Apache 许可证 v2.0 的条款约束。

作者

Fluent Bit 由云原生社区的几家公司赞助和维护,包括所有主要的云提供商。

你可以在此处查看贡献者列表。