누구나 할 수 있는 엑세스 로그 분석 따라 해보기 (by Elastic Stack)

다운받고 압축풀고 심볼릭 경로 만들고 (심볼릭 경로는 선택사항)
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz
$ tar zxvf elasticsearch-6.6.0.tar.gz
$ ln -s elasticsearch-6.6.0 elasticsearch

설정 파일을 열고 추가해준다.
$ cd elasticsearch/conf
$ vi elasticsearch.yml
path.data: /~~~/data/elasticsearch (기본경로에서 변경할때추가)
path.logs: /~~~/logs/elasticsearch
network.host: 0.0.0.0 # 외부에서 접근이 가능하도록 (실제 ip를 적어줘도 됨)

elasticsearch 의 시작과 종료를 조금이나마 편하게 하기위해 스크립트를 작성해줌 (이것또한 선택사항)
$ cd ../bin
$ echo './elasticsearch -d -p es.pid' > start.sh
$ echo 'kill `cat es.pid`' > stop.sh
$ chmod 755 start.sh stop.sh

ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

> sudo /sbin/sysctl -w vm.max_map_count=262144

{
	"name": "@@@",
	"cluster_name": "elasticsearch",
	"cluster_uuid": "@@@",
	"version": {
		"number": "6.6.0",
		"build_flavor": "default",
		"build_type": "tar",
		"build_hash": "@@@",
		"build_date": "2019-01-24T11:27:09.439740Z",
		"build_snapshot": false,
		"lucene_version": "7.6.0",
		"minimum_wire_compatibility_version": "5.6.0",
		"minimum_index_compatibility_version": "5.0.0"
	},
	"tagline": "You Know, for Search"
}

다운을 받고 압축풀고 심볼릭 링크 설정
$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz
$ tar -zxvf logstash-6.6.0.tar.gz
$ ln -s logstash-6.6.0 logstash

logstash가 실행될때 설정값 파일을 만들어준다.
$ cd logstash/config
$ vi access_log.conf
# beats 에서 5044 port 로 데이터를 input 받겠다는 의미
input { 
        beats { 
                port => "5044"
        }
}

# grok 필터를 활용하여 엑세스로그 한줄을 아래처럼 파싱하겠다는 의미
# 해당 필터는 apache의 로깅 설정에 의해 만들어지는 파일의 포멧에 맞추어 설정해야한다.
filter {
        grok {
                match => { "message" => ["%{IPORHOST:clientip} (?:-|%{USER:ident}) (?:-|%{USER:auth}) \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:httpMethod} %{NOTSPACE:uri}(?: HTTP/%{NUMBER:httpversion})?|-)\" %{NUMBER:responseCode} (?:-|%{NUMBER:bytes}) (?:-|%{NUMBER:bytes2})( \"%{DATA:referrer}\")?( \"%{DATA:user-agent}\")?"] }
                remove_field => ["timestamp","@version","path","tags","httpversion","bytes2"]
        }
}

# 정제된 데이터를 elasticsearch 에 인덱싱 하겟다는 의미
# index 이름에 날짜 형태로 적어주면 인덱싱 하는 시점의 시간에 따라 인덱싱 이름이 자동으로 변경이 된다. (아래는 월별로 인덱스를 만들경우)
output {
        elasticsearch {
                hosts => [ "{elasticsearch ip}:9200" ]
                index => "index-%{+YYYY.MM}"
        }
}

$ bin/logstash -f config/access_log.conf &

역시 다운받고 압축풀고 심볼릭 링크 설정
$ https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-linux-x86_64.tar.gz
$ tar -zxvf kibana-6.6.0-linux-x86_64.tar.gz
$ ln -s kibana-6.6.0-linux-x86_64 kibana

외부에서 접근을 하기위해 ip를 적어주고, 연결할 elasticsearch 주소또한 적어준다.
$ cd kibana/config
$ vi kibana.yml
server.host: "@.@.@.@"
elasticsearch.hosts: ["http://@.@.@.@:9200"]

$ cd bin/
$ nohup ./kibana &

접속 : http://@.@.@.@/5601

다운 → 압축해제 → 심볼릭링크
$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-linux-x86_64.tar.gz
$ tar -zxvf filebeat-6.6.0-linux-x86_64.tar.gz
$ ln -s filebeat-6.6.0-linux-x86_64 filebeat

filebeat가 실행될때의 설정파일을 작성해준다.
$ cd filebeat
$ vi access_log.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /~~~/logs/apache/access.log.* # 실제 엑세스 파일의 경로
  tail_files: true # filebeat 시작시점 기준 파일 끝에서부터 로깅을 읽기 시작
  ignore_older: 1m # filebeat 시작시점 기준 1분전의 내용은 무시
  close_inactive: 2m
  clean_inactive: 15m
logging.level: info
logging.to_files: true
logging.files: # filebeat가 실행되면서 남기는 로깅파일 정보. 도큐먼트를 읽어보는것을 추천한다.
  path: /~~~/logs/filebeat
  name: test-filebeat-log
  keepfiles: 7
  rotateeverybytes: 524288000
output.logstash: # 최종적으로 output 할 logstash의 정보를 입력해준다.
  hosts: ["@.@.@.@:5044"]

$ ./filebeat -c access_log.yml -d publish &