Skip to main content

Cấu hình Index Set và Stream trên Graylog Server  - Phần 3

06,November 2017
Cấu hình index set và stream trên graylog server

1. Cấu hình index set và stream trên graylog 

a. Index Sets

- Graylog sẽ quản lý 1 hoặc nhiều Elasticsearch indices  để tối ưa hoạt động tìm kiếm và phân tích giúp tăng tốc độ và giảm sử dụng tài nguyên server 

- Mỗi index set chứa những cấu hình cần thiết cho Graylog để tạo, quản lý, và fill Elasticsearch indices và thực hiện rotation index cũng như giữ lại nhưng dữ liệu theo yêu cầu và xóa dữ liệu không cần thiết

+ Cấu hình index set:

- Truy cập Graylog -> System/Indices -> Indices -> Create index set

cấu hình index set for graylog

+ Mục "Index Rotation Configuration"

  • "Select rotation strategy", chọn "Index Time" - sẽ tạo index theo thời gian 
  • "Rotation period : P1D = 1 ngày" hoặc "PT1H = 1 giờ". Có nghĩa là sau 1 ngày hoặc 1 giờ, Graylog sẽ tạo ra 1 index mới

+ Mục "Index Retention  Configuration" 

  • "Select retention stratery: Delete Index" -  sẽ xóa index cũ khi số lượng index được tạo đạt max
  • "Max number of indices: 30" - số lượng max indices sẽ được tạo cho index set

=> Như vậy với cấu hình index set trên chúng ta sẽ lưu trữ log (message) trong 30 ngày gần nhất

=> Tương tự như trên các bạn tạo những index set với những chính sách khác nhau đối với mỗi luồng messages (logs) đi vào

 

b. Streams

- Graylog streams là 1 cơ chế định tuyến các messages (logs) vào các danh mục trên thời gian thực khi các messages được xử lý. Bạn sẽ định nghĩa các rules và Graylog sẽ dự vào đó để biết được message nào sẽ được định tuyến vào danh mục nào. Mặc định all messages nhận vào Graylog sẽ được định tuyến vào "All messages" stream.

- Ở đây chúng ta sẽ tạo ra các stream dựa trên các chức năng khác nhau và cấu hình rules để match với các luồng input vào graylog. Ví dụ chúng ta sẽ tạo 1 stream "Web App" sẽ lưu trữ log của 

- Truy cập graylog -> Chọn "Streams" Tab -> Create Stream. Chúng ta đặt tên stream theo chức năng cho từng luồng messages

cấu hình stream trên graylog

- Mục "Title: WEB APP" các bạn đặt theo chức năng của stream. Mục "Index Set: one_month" ở đây mình sẽ áp policy index set "one_month" tạo ở bước trên cho luồng dữ liệu này. Nghĩa là messages (logs) đi vào stream này sẽ được lưu sau 30 ngày gần nhất

- Tạo các "rules" cho stream "WEB APP", chọn "Manage Rules"

cấu hình stream trên graylog

- Chọn chính sách matching cho các rules. Tùy chọn -> "Add stream rule" để tạo rules

cấu hình stream trên graylog

- Tạo các rules cho stream. Mục "Field" các bạn có thể chọn các field trong record messages input vào. Ví dụ: nếu từ docker thì có container_name, source, etc

cấu hình stream trên graylogcấu hình stream trên graylog

 

- Các bạn có thể tạo nhiều stream khác nhau nhưng sử dụng cùng 1 policy ( index set ). Ví dụ các bạn tạo thêm stream "MySQL" và sử dụng index set "one_month" lúc đó logs của MySQL sẽ được lưu trữ 30 ngày gần nhất. Với các logs không quan trọng các bạn tạo index set chỉ lưu trữ trong 1 tuần hoặc vài ngày sau đó tạo các stream, rules và match vào index set đó. Việc xóa những logs không quan trọng sẽ giúp không gian ổ cứng để lưu logs của bạn được giải phóng để lưu trữ các log quan trọng cho các ứng dụng của bạn