Fluentd | Recopilar datos multiplataforma

FLUENTD, es un componente de software de recopilación de datos multiplataforma.

Fue desarrollado por Treasure Data y es open source desde el 2011. Se usa mucho para la extracción de logs y envió a plataformas de monitoreo como Elastic Search / LogStash / Kibana o New Relic. Esta muy relacionado al concepto de observabilidad y con la llegada de las arquitecturas de microservicios y trazabilidad distribuida es necesario poder recolectar y centralizar logs.

También se utiliza como una herramienta de Big Data para conjuntos de datos semiestructurados o no estructurados.

Su propósito principal es ser una capa unificadora entre los componentes que generan datos de registro (logs de aplicaciones y eventos) y componentes que almacenan datos de registro (herramientas de monitoreo).

FLUENTD recopila, filtra, almacena en búfer y genera registros fluidos en múltiples fuentes y destinos.

Formato de datos usado es  JSON debido a su flexibilidad de esquema.

FLUENTD tiene un sistema de plugin flexible donde los desarrolladores pueden construir personalizaciones a su alrededor (new relic tiene un plugin basado en fluentd )

FLUENTD admite almacenamiento en búfer basado en memoria y en archivos para evitar la pérdida de datos entre nodos. Soporta alta disponibilidad sin ningún problema.

FLUENTD esta escrito en el lenguaje de programación Ruby

sitio oficial fluentd