Fluentd | Recopilar datos multiplataforma

FLUENTD, es un componente de software de recopilación de datos multiplataforma.

Fue desarrollado por Treasure Data y es open source desde el 2011. Se usa mucho para la extracción de logs y envió a plataformas de monitoreo como Elastic Search / LogStash / Kibana o New Relic. Esta muy relacionado al concepto de observabilidad y con la llegada de las arquitecturas de microservicios y trazabilidad distribuida es necesario poder recolectar y centralizar logs.

También se utiliza como una herramienta de Big Data para conjuntos de datos semiestructurados o no estructurados.

Su propósito principal es ser una capa unificadora entre los componentes que generan datos de registro (logs de aplicaciones y eventos) y componentes que almacenan datos de registro (herramientas de monitoreo).

FLUENTD recopila, filtra, almacena en búfer y genera registros fluidos en múltiples fuentes y destinos.

Formato de datos usado es  JSON debido a su flexibilidad de esquema.

FLUENTD tiene un sistema de plugin flexible donde los desarrolladores pueden construir personalizaciones a su alrededor (new relic tiene un plugin basado en fluentd )

FLUENTD admite almacenamiento en búfer basado en memoria y en archivos para evitar la pérdida de datos entre nodos. Soporta alta disponibilidad sin ningún problema.

FLUENTD esta escrito en el lenguaje de programación Ruby

sitio oficial fluentd

Añadir un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *