DsAgent 服务配置及注意事项

示例：

[
   {
        "task_id":7,
        "task_name":"yarn_rm_log_test",
        "target_path":"/home/bdms/logs/yarn/{.*}/resourcemanager/{.*}/logs/",
        "file_pattern":"metric-yarn-yarn-resourcemanager-.*.log",
        "kafka_topic":"yarn_rm_metric_log",
        "collect_head_pattern": "^\\\d{4}(\\\-|\\\/|\\\.)\\\d{1,2}\\\\1\\\d{1,2}"
    },
    ...
]

备注：

task_id：任务id

task_name：任务名称

target_path：采集路径，正则部分需要使用{}括起来

file_pattern：采集文件，支持正则

kafka_topic：kafka的topic

collect_head_pattern: 日志分割头部正则表达式, 注意需要对正则进行转义处理.如果接入服务为sloth，使用：^(?!\\\s|Caused by:).*；如果其他日志，使用^\\\d{4}(\\\-|\\\/|\\\.)\\\d{1,2}\\\\1\\\d{1,2}

注意：

以上配置是一个数组，可以传递多个元素，每个元素对应一种类型的日志

task_id必须为int类型

如果发送数据到一个kafka的topic，则task_id可以相同

target_path和file_pattern可以使用正则，target_path支持多级目录正则

注意：

建议不同类型日志采集需求，在上述agent_conf中配置不同元素，请勿混用

建议针对相同服务或组件的日志采集，在上述target_path和file_pattern设置中使用正则，以便通用