Logstash 服务配置

服务配置

字段名 字段值（默认） 说明
pipeline_filename pipeline文件名称。必填
kafka_topics kafka的topic，多个以“,”分隔。必填
consumer_threads 1 相当于consumer数量，最多为此topic的partition数量
consumer_group 相当于kafka的consumer_group_id。每个pipeline的group_id不相同。必填
pipeline_filter 对应logstash的filter。可不填
pipeline_output 对应logstash的output。可不填
JAVA_HOME /usr/lib64/jdk8
Xms 1g 程序启动时占用内存大小
Xmx 1g 最大Heap的大小

注意：

logstash目前接入方案是使用multiple pipeline的方式接入，每个任务维护一个pipeline.yml解析文件。pipeline_filename即为pipeline解析文件的实际名称

pipeline_filename：不可重复，推荐使用服务名称命名。变更此配置项，会生成新的pipeline解析文件（以此命名）；如此配置项不变更，变更其他配置项，则会更改pipeline解析文件

pipeline_filter：对应logstash中的filter。不填则使用filter { mutate {rename => [\“_timestamp\“, \“collection_time\“]} }

pipeline_output: 对应logstash中的output。不填则使用依赖的es，如output {elasticsearch {hosts => [“hostname01:9601”,”hostname02:9601”,”hostname03:9601”]}}