Elastic Stack์ผ๋ก ์ฝ๋ก๋19 ๋์๋ณด๋ ๋ง๋ค๊ธฐ - 2๋ถ : ๋์๋ณด๋
ใ์ง๋ ํฌ์คํ ์์๋ ๏ปฟ๋ฐ์ดํฐ๋ฅผ ์๊ธํ๋ฉฐ ์ ์ฒ๋ฆฌ ๊ณผ์ ์ ๊ฑฐ์ณค๊ณ , Filebeat์ Logstash๋ฅผ ๊ฑฐ์ณ Elasticsearch์ ์ธ๋ฑ์ฑ ํ๋ ๊ฒ๊น์ง ์์๋ณด์๋ค. ์์ ํฌ์คํ ์์ ์ด์ผ๊ธฐํ์ง๋ง ๋จ์ํ๊ฒ ๋ฐ์ดํฐ๋ฅผ ์๊ฐํ ๋๊ตฌ๋ฅผ ์ด์ฉํด์ ๋์๋ณด๋๋ฅผ ๋ง๋๋ ๊ฒ ์๋๋ผ ๋ฐ์ดํฐ๊ฐ ์ถ๊ฐ๋๋ฉด ๋ง๋ค์ด๋ ๋์๋ณด๋์ ์๋์ผ๋ก ๋ฐ์๋๋ ํ๋ฆ์ ๋ง๋ค๊ณ ์ถ์๋ค. ๋ง์นจ ํ์ดํ๋ผ์ธ์ ์ดํ ์ ์ ๋ง๋ค์๊ธฐ ๋๋ฌธ์ ๊ทธ๋์์ ๋น ์ง ๋ฐ์ดํฐ๋ฅผ ์ถ๊ฐํด์ผ ํ๋ ์ํฉ์ด๋ค. ์ด ๊ฒฝ์ฐ Filebeat-Logstash-Elasticsearch ๊ฐ ์คํ ์ค์ด๋ผ๋ฉด ์์ ์์ฑํ๋ ํ์ด์ฌ ์คํฌ๋ฆฝํธ๋ง ํ๋ฒ ์คํํด ์ฃผ๋ฉด ์ดํ ์น ๋ฐ์ดํฐ๊ฐ ํ์ดํ๋ผ์ธ์ ๊ฑฐ์ณ Elasticsearch๋ก ์ธ๋ฑ์ฑ์ด ๋๋ค. ์ฆ, ๋ณ๋๋ก ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์์ ์ฌ ๊ฐ๊ณตํ๊ณ ์ถ๊ฐํ๋ ๋ค์ ๊น๋ค๋ก์ด ์์ ์ด ๋ฏธ๋ฆฌ ๋ง๋ค์ด๋ ํ์ดํ๋ผ์ธ ๋๋ถ์ ํ ๋ฒ์ ์คํฌ๋ฆฝํธ ์คํ์ผ๋ก ์์ฝ๊ฒ ์ฒ๋ฆฌ๊ฐ ๋จ์ ์ ์ ์๋ค.
ใ์ด์ ๋ ์์ฌ์๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ ์๊ฐํ๋ฅผ ํด๋ณผ ์ฐจ๋ก์ด๋ค. ElasticStack์์๋ Kibana๋ผ๋ ๊ฐ๋ ฅํ ์๊ฐํ ๋๊ตฌ๋ฅผ ์ ๊ณตํ๋๋ฐ ์ด๋ฒ ํฌ์คํ ์์๋ Kibana๋ฅผ ์ด์ฉํด์ ๋์๋ณด๋๋ฅผ ๋ง๋๋ ๋ฐฉ๋ฒ์ ๋ํด ์์๋ณด๋ ค ํ๋ค.
Visualize
ใ๏ปฟElasticsearch์ ์ธ๋ฑ์ฑ ๋์ด์๋ ๋ฐ์ดํฐ๋ค์ ๊ธฐ๋ณธ์ผ๋ก ์ ๊ณต๋๋ REST API๋ฅผ ํตํด์ ์กฐํํ ์ ์๊ณ JSON ํํ๋ก ๊ฒฐ๊ณผ๊ฐ ๋์ค๊ธฐ ๋๋ฌธ์ ์ด๋ฅผ ๊ฐ์ง๊ณ ๋ค์ํ๊ฒ ์๊ฐํ๋ฅผ ํ ์๋ ์๋ค. ํ์ง๋ง Kibana์์๋ ๋ฐ์ดํฐ๋ฅผ ์กฐํํ๊ณ UI๋ก ํํํ๋ ์ผ๋ จ์ ๋ชจ๋ ํ์๋ฅผ ํด๋ฆญ ๋ช ๋ฒ์ผ๋ก ํ ์ ์๊ฒ ํด์ฃผ๊ธฐ ๋๋ฌธ์ ์ ๋ฌธ๊ฐ๊ฐ ์๋๋๋ผ๋ ์กฐ๊ธ๋ง ๋ง์ ธ๋ณด๋ฉด ๋๊ตฌ๋ ๋ง๋ค ์ ์๋ค.

ใ๋ฒ์ ์
์ด ๋๋ฉด์ ๋น์ฅฌ์ผ๋ผ์ด์ฆ๋ฅผ ๋ง๋๋ ์ฒซ ํ๋ฉด ๋ํ ๋ณํ๊ฐ ์๊ฒผ๋ค. ๊ธฐ์กด์๋ ์ด๋ค ์ ํ์ ๋น์ฅฌ์ผ๋ผ์ด์ฆ๋ฅผ ์ ํํ ๊ฒ์ธ์ง์ ๋ํด ์ ํํ๋ ํ๋ฉด๋ถํฐ ๋์๋๋ฐ ๋ง๋๋ ๊ฑธ ๋ณด๋ค ํธ๋ฆฌํ๊ฒ ๋์์ฃผ๋ Lens
, TSVB
๊ฐ์ ๊ธฐ๋ฅ๋ค์ด ๋จผ์ ๋ฐ๊ฒจ์ค๋ค. ์ด ๊ธฐ๋ฅ์ ํตํด์ ๋ง๋๋ ๋ฐฉ๋ฒ๋ ๊ด์ฐฎ์ง๋ง ๋ณด๋ค ๋ช
์์ ์ผ๋ก ๋ง๋ค๊ณ ์ถ์ผ๋ ํ๋จ์ Aggregation based
์ ์ ํํด์ ์ํ๋ ๋น์ฅฌ์ผ๋ผ์ด์ฆ์ ํ์
์ ์ ํํด ๋ณด์. ์ดํ ์์ฑ๋์ด ์๋ ์ธ๋ฑ์ค๋ฅผ ์ ํํ๋ฉด ๋ณธ๊ฒฉ์ ์ผ๋ก ๋น์ฅฌ์ผ๋ผ์ด์ฆ๋ฅผ ๊ทธ๋ฆด ์ ์๋ ํ๋ฉด์ด ๋์ค๋๋ฐ ๋์๋ณด๋ ํ๋ฉด ๊ธฐ์ค์ผ๋ก ๋ง๋ค์ด์ผ ํ ํญ๋ชฉ๋ณ๋ก ์ดํด๋ณด์.
์ ์ฒด ์

ใ๏ปฟํ์ง์, ์ฌ๋ง์, ๊ฒฉ๋ฆฌ ํด์ ์ ์ดํฉ์ ํํํ๋ ค ํ๋ค. ์ด๋ ๊ฒ ‘์ซ์’๋ฅผ ํํํ๋ ค ํ๋ ๊ฒฝ์ฐ Metric
์ ํ์ฉํ๊ณค ํ๋ค. ์ฐ์ธก์์ Aggregation ๋ฐฉ๋ฒ์ ‘sum’์ผ๋ก ์ค์ ํ๊ณ ํ๋๋ ์ ํ๋ณ๋ก ๊ฐ๊ฐ ์ ํํด ์ฃผ์. ์๋ ‘Add’๋ฒํผ์ ๋๋ฌ ํ์ง, ์ฌ๋ง, ๊ฒฉ๋ฆฌ ํด์ ์๋ฅผ ๋ชจ๋ ํ์ํ ๋ค์ ์ ์ฅ์ ๋๋ฌ์ค๋ค. Label์ ์ง์ ํ์ง ์์ผ๋ฉด ์ด๋ค ํํ๋ก Aggregation์ ํ๋์ง๋ฅผ Label ์์ญ์ ๋ณด์ฌ์ฃผ๋๋ฐ ๊ทธ๊ฒ ๋ณด๊ธฐ ์ซ๋ค๋ฉด ์ํ๋ ํ
์คํธ๋ก ์ง์ ํด ์ฃผ๋ ๊ฒ๋ ๋ฐฉ๋ฒ์ด๋ค.
์ต๊ทผ ์

ใ๏ปฟํ์ง์, ์ฌ๋ง์, ๊ฒฉ๋ฆฌ ํด์ ์ ‘์ต๊ทผ ๋ฐ์ดํฐ’๋ฅผ ๋ณด์ฌ์ฃผ๋ ๊ฒ ๋ชฉ์ ์ด๋ค. ์ด ๊ฒฝ์ฐ Aggregation์ Top Hit์ผ๋ก ์ ํํ๋ฉด ํ๋๋ฅผ ์ ํํ ์ ์๊ฒ ๋๋๋ฐ ํ๋ฃจ์ ๋ฐ์ดํฐ๊ฐ ์ด 18 row์ด๊ธฐ ๋๋ฌธ์ (์์ธ, ๋ถ์ฐ, …, ์ ์ฃผ, ๊ฒ์ญ) 18 row ์ ์ ๋ถ ๋ํ ๊ฐ์ด ํ๋ฃจ ๊ธฐ์ค์ ํฉ๊ณ๊ฐ ๋๋ค. ์ฌ๊ธฐ์ ์ ๋ ฌ์ ๋ ์ง ๊ธฐ์ค ๋ด๋ฆผ์ฐจ์์ผ๋ก ํด์ค์ผ ๊ฐ์ฅ ์ต๊ทผ ๋ฐ์ดํฐ์ ํฉ๊ณ๊ฐ ๋๋ ์ ๋ ์ ๊ฒฝ ์จ์ผ ํ๋ค.
๊ฐ ํ์ ๋ณ ํฉ๊ณ

ใ๏ปฟ์ง์ญ๋ณ๋ก ํ์
๋ณ ์๋ฅผ ๋ณด๊ธฐ ์ํด Pie
ํ์
์ผ๋ก ์ ํํ์ฌ ์งํํ๋ค. ํ์
๋ณ(์๋ก ๋ค์ด ํ์ง์ด๋ฉด confirmed)๋ก ํฉ๊ณ๋ฅผ ๊ตฌํ๊ธฐ ์ํด Aggregation์ ‘sum’์ผ๋ก ์ค์ ํ๋ฉด ๋น ์์ด ๋์ค์ง๋ง ๊ฐ ์ง์ญ๋ณ๋ก ์ฐจํธ๋ฅผ ์๋ผ์ ๋ด์ผ ํ๊ธฐ์ ํ๋จ์ Buckets์ Add๋ฅผ ๋๋ฅด๊ณ regieon์ ํ๋๋ฅผ Terms Aggregation ํ๋ค. 18 row์ ๋ฐ์ดํฐ๊ฐ ์ ๋ถ ๋ณด์ฌ์ผ ํ๊ธฐ์ ์ ๋ ฌ ๊ฐ์๋ฅผ ๋๋ฆฌ๊ณ option ํญ์์ ๋ณด๋ ์ทจํฅ์ ์๋ง๊ฒ ์ค์ ๊ฐ๋ค์ ๋ฐ๊ฟ์ค๋ค.
ํ์ ๋ณ ์ถ์ด

ใ๏ปฟํ์ง, ์ฌ๋ง, ๊ฒฉ๋ฆฌ ํด์ ์ค์ ์ฌ๋ง์ ์ ์ธํ๊ณ ๋๋จธ์ง ๋์ ๋ฐ์ดํฐ์ ํฌ๊ธฐ๊ฐ ํฌ๊ณ ๋ณํ๋์ด ๋น์ทํ๊ธฐ ๋๋ฌธ์ x์ถ์ ์๊ฐ์ผ๋ก ์ค์ ํด๋๊ณ ์ฌ๋ง์ ๋ง๋๋ก, ๋๋จธ์ง ๋์ ๋ผ์ธ์ผ๋ก ํ ํ๋ฉด์์ ํํํ๋ฉด ์ด 3๊ฐ์ง ๋ฐ์ดํฐ๋ฅผ ํ๋์ ๋ณด๊ธฐ ์ข์ ๊ฒ ๊ฐ์๋ค. Vertical bar
์ ์ ํํ๊ณ x์ถ(Buckets > X-axis)์ ๋ฐ์ดํฐ ํ์
์ธ convert_date๋ก ์ค์ ํ๋ค. ๋ค์์ผ๋ก ์ฌ๋ง์ ๋งค์ผ ๋ช ๋ช
์ฌ๋งํ๋์ง ๋๋ ทํ๊ฒ ๋ณด๊ธฐ ์ํด ๊ทธ๋ฅ sum์ผ๋ก, ๋๋จธ์ง ๋์ ๋์ ํฉ๊ณ๊ฐ ๋ ์๋ฏธ ์์ด ๋ณด์ผ ๊ฒ ๊ฐ์ Cumulative Sum์ผ๋ก Aggregation์ ํ๋ค. ํ ํ๋ฉด์์ 3๊ฐ์ง์ ๋ฐ์ดํฐ๋ฅผ ๋ณด์ฌ์ฃผ๊ธฐ์ ๋ค์ y ์ถ์ ํฌ๊ธฐ๊ฐ ๋ง์ง ์์ผ๋ฏ๋ก ํ์ง, ๊ฒฉ๋ฆฌ ํด์ ๋ฅผ ๋ณ๋์ y ์ถ(Y-axes)์ผ๋ก ‘Metrics & axes’ํญ์์ ์ค์ ํด ์ค๋ค. ๋ค์์ผ๋ก ๊ฐ ํญ๋ชฉ์ ๋ฒ๋ก๋ฅผ ์๋ก ํ์ํ์ฌ ๋ณด๋ค ๋ณด๊ธฐ ํธํ๊ฒ ๋ฐฐ์นํ๋ค.