๋ชฉ๋ก์คํฐ๋ (23)
Study Anything ๐ง
์ฐธ๊ณ : NetworkX : GML ํ์ด์ฌ ํ์ผ์ ์คํํ ๋๋ง๋ค ๊ทธ๋ํ๋ฅผ ๊ทธ๋ฆฌ์ง ์์๋ ๋๋ ๊ฒฝ์ฐ๋ค์ด ์๋ค. ์ด๋ฐ ๊ฒฝ์ฐ, ๊ทธ๋ํ๋ฅผ ํ ๋ฒ ๊ทธ๋ ค ์ ์ฅํ๊ณ ์ ์ฅ๋ ๊ทธ๋ํ๋ฅผ ๋ถ๋ฌ์ค๋ ๊ฒ์ด ํจ์จ์ ์ด๋ค. ์ด๋ฒ ํฌ์คํธ์์๋ ๊ทธ๋ฆฐ ๊ทธ๋ํ๋ฅผ ์ ์ฅํ๊ณ ๋ค๋ฅธ ํ์ผ์์ ๋ถ๋ฌ์ค๋ ๋ฐฉ๋ฒ์ ๋ค๋ค๋ณด์. ๊ทธ๋ํ๋ json, gml ๋ฑ ์ฌ๋ฌ ํฌ๋งท์ผ๋ก ์ ์ฅํ ์ ์์ง๋ง ๋๋ ๋จ์ํ ๊ทธ๋ํ๋ฅผ ํ์ด์ฌ ํ์ผ์ ๋ค์ ๋ถ๋ฌ์ฌ ์ฉ๋๋ก ์ ์ฅํ๋ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ GML ํฌ๋งท์ผ๋ก ์ ์ฅํ๋ค. ๋จผ์ ๊ทธ๋ํ๋ฅผ ๊ทธ๋ฆฐ ๋ถ๋ถ์ ์๋ก์ด ํ์ผ์ ์ฎ๊ฒจ์ค๋ค. ๊ธฐ์กด : main.py -> ์ ํ์ผ : graph.py # graph.py import networkx as nx def drawGraph(data): # ๊ทธ๋ํ ๊ทธ๋ฆฌ๋ ๋ถ๋ถ ์๋ต ... G = nx.Graph()..
๋ก์ง์คํฑ ํ๊ท๋ ์ด๋ฆ์ ํ๊ท์ด์ง๋ง ๋ถ๋ฅ ๋ชจ๋ธ์ด๋ค. ์ ํ ํ๊ท์ ๋ง์ฐฌ๊ฐ์ง๋ก ์ ํ ๋ฐฉ์ ์์ ํ์ตํ๋ค. z = a*x1 + b*x2 + c*x3 + d*x4 + e*x5 + f ์ ๊ฐ์ ํํ์ด๋ค. ์ด ๋ ๋ฐฉ์ ์์ a,b,c,d,e๋ ๊ฐ์ค์น ํน์ ๊ณ์์ด๊ณ x1~5๋ ํน์ฑ์ด๋ค. ๋ค์ค ํ๊ท์ ๋น์ทํ ํํ์ด๋ค. z์ ๊ฐ์ ์ด๋ค ๊ฐ์ด๋ ๊ฐ๋ฅํ์ง๋ง ํ๋ฅ ๋ก ๋ํ๋ด๊ธฐ ์ํด์๋ 0~1 ์ฌ์ด ๊ฐ์ด ๋์ด์ผ ํ๋ค. z์ ๊ฐ์ 0~1 ์ฌ์ด์ ๊ฐ์ผ๋ก ๋ณํํ๊ธฐ ์ํด์๋ ๋ณํ ํจ์๊ฐ ํ์ํ๋ค. ์ผ๋ฐ์ ์ผ๋ก๋ ์๊ทธ๋ชจ์ด๋ ํจ์๋ฅผ ๋ง์ด ์ด๋ค. ์์ฃผ ํฐ ์์์ผ ๋ 0์ด ๋๊ณ ์์ฃผ ํฐ ์์์ผ ๋ 1์ด ๋๋๋ก ํ๋ค. ์๋ ๊ทธ๋ฆผ์ฒ๋ผ Sํ ๊ณก์ ์ ํํ๋ฅผ ๋๊ฒ ๋๋ค. ํจ์ ์์ ์์ฐ ์์ e์ -z์ ๊ณฑ์ +1์ ํ ๋ค์ ์ญ์๋ฅผ ์ทจํ๋ค. ๋ก์ง์คํฑ ํ๊ท๋ก ์ด..
AARRR ๊ธฐ๋ฒ์ ๊ทธ๋ก์ค ํดํน(Growth Hacking) ์ ๋ถ์ ๊ธฐ๋ฒ์ด๋ค. ๊ทธ๋ก์ค ํดํน์ ๊ธฐ์ ์ ์ฑ์ฅ์ ์ต์ฐ์ ์ผ๋ก ํ๋ฉฐ, ์ฌ์ฉ์์ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํด ์๋น์ค๋ฅผ ๊ฐ์ ํ๋ ๋ฐ์ ํ์ฉํ๊ธฐ ๋๋ฌธ์ ์ด๋ฐ ์ด๋ฆ์ด ๋ถ๊ฒ ๋์๋ค. ๋ค์ฏ ๋จ์ด์ ์ ๊ธ์๋ฅผ ๋์ผ๋ฉฐ ๊ฐ๊ฐ Acquisition(ํ๋), Activation(ํ๋), Retention(์ฌ๋ฐฉ๋ฌธ), Referral(๊ณต์ ), Revenue(์์ต) ์ด๋ค. ์ฌ์ฉ์๊ฐ ์๋น์ค๋ฅผ ํ์ฉํ๋ฉด์ ์์ง๋๋ ์ฌ๋ฌ ๋ฐ์ดํฐ ์ค ์ ๋ค์ฏ๊ฐ์ง์ ์งํ๋ฅผ ํต์ฌ์ผ๋ก ์๋น์ค์ ์ฑ์ฅ์ ํ์ฉํ๋ค. ๋ค์ฏ ๊ฐ์ ์งํ๋ฅผ ์์ฐจ์ ์ผ๋ก ๋ถ์ํ๋ ๊ฒ์ด ์๋๋ผ ํจ๊ป ๋ถ์ํด์ผ ํ๋ค. (1) Acquisition ํ๋ ๋จ๊ณ์์๋ ์๋น์๊ฐ ์๋น์ค๋ฅผ ์ด๋ป๊ฒ ์๊ฒ ๋์๋์ง, ์ด๋ค ๊ฒฝ๋ก๋ก ์ ์ ๋์๋์ง ๋ฑ์ ๋ถ์ํ๋ค. DAU, ..
์ ํ ํ๊ท๋ ํ๋์ ํน์ฑ์ ์ด์ฉํ ํ๊ท ๋ฐฉ๋ฒ์ด๋ค. ํ์ง๋ง ์ผ๋ฐ์ ์ผ๋ก ํน์ฑ์ ์ฌ๋ฌ ๊ฐ์ด๋ค. ์ด๋ด ๋ ์ฌ์ฉํ ์ ์๋ ๋ฐฉ๋ฒ์ด ๋ฐ๋ก ๋ค์ค ํ๊ท์ด๋ค. ํน์ฑ์ด ํ๋์ธ ์ ํ ํ๊ท์์๋ ๋ชจ๋ธ์ด ์ง์ ์ ํ์ตํ์ง๋ง 2๊ฐ์ ํน์ฑ์ ๊ฐ์ง๋ค๋ฉด ๋ชจ๋ธ์ ํ๋ฉด์ ํ์ตํ๋ค. ๋ฐฉ์ ์์ ๋ณด๋ฉด ์ฝ๊ฒ ์๋ฟ๋๋ฐ 'ํ๊ฒ = a*ํน์ฑ1 + b*ํน์ฑ2 + ์ ํธ' ์ ํ๋ฉด ๋ฐฉ์ ์์ ๊ฐ์ง๊ธฐ ๋๋ฌธ์ด๋ค. ์ด์ฒ๋ผ ํน์ฑ์ด ๋ง์ ๋ ๊ณ ์ฐจ์์ ํํํ ์ ์๋ ์ ํ ํ๊ท๋ ๋ณต์กํ ๋ชจ๋ธ์ ํ์ต์ํฌ ์ ์๋ค. ํน์ฑ๋ค์ด ์ฌ๋ฌ ๊ฐ ์กด์ฌํ ๋ ํน์ฑ ๊ทธ๋๋ก๋ฅผ ์ฌ์ฉํด๋ ์ข์ง๋ง ํน์ฑ๋ผ๋ฆฌ ๊ณฑํ๋ ๋ฑ ์๋ก์ด ํน์ฑ์ ๋ง๋ค ์๋ ์๋ค. ์ฌ์ดํท๋ฐ์์๋ ๊ธฐ์กด ํน์ฑ์ผ๋ก๋ถํฐ ์๋ก์ด ํน์ฑ์ ๋ง๋๋ ์ฌ์ด ๋๊ตฌ๋ฅผ ์ ๊ณตํ๋ค. ์ฌ์ดํท๋ฐ์ ํน์ฑ์ ๋ง๋ค๊ณ ์ ์ฒ๋ฆฌํ๋ ๋ค์ํ ํด๋์ค๋ฅผ ๋ณํ๊ธฐ๋ผ๊ณ ํ๊ณ ์ด๋..
๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์๋ ์ง๋ ํ์ต ์๊ณ ๋ฆฌ์ฆ๊ณผ ๋น์ง๋ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ด ์๋ค. ์ง๋ ํ์ต์ ํ๋ จ์ ์ํ ๋ฐ์ดํฐ์ ์ ๋ต์ด ํ์ํ๊ณ , ๋น์ง๋ ํ์ต์ ์ ๋ต์ด ์๊ณ ๋์ ๋น์ทํ ๋ฐ์ดํฐ๋ผ๋ฆฌ ๋ฌถ๋๋ค. ์ง๋ ํ์ต์ ๋ ๋ค์ ๋ถ๋ฅ์ ํ๊ท๋ก ๋๋๋๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฌ ์ต์ ์ค ํ๋๋ก ์ ํ/๊ฒฐ์ ํ๋ ๊ฒ์ด ๋ถ๋ฅ, ๋ฐ์ดํฐ๋ฅผ ํตํด ์์์ ์ด๋ค ๊ฐ์ ์์ธกํ๋ ๊ฒ์ด ํ๊ท์ด๋ค. ์ฌ๋ฌ ํ๊ท ์๊ณ ๋ฆฌ์ฆ ์ค ์ด๋ฒ ํฌ์คํธ์์๋ ์ ํ ํ๊ท ์๊ณ ๋ฆฌ์ฆ์ ๋ํด ๋ค๋ค๋ณด๋ ค๊ณ ํ๋ค. ์ ํ ํ๊ท๋ ๋ํ์ ์ธ ํ๊ท ์๊ณ ๋ฆฌ์ฆ์ผ๋ก, ์ฌ๋ฌ ๊ณณ์์ ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ค. ๋จ์ด ๊ทธ๋๋ก ๋ฐ์ดํฐ์ ํน์ฑ์ด ํ๋์ธ ๊ฒฝ์ฐ ํน์ฑ์ ๊ฐ์ฅ ์ ๋ํ๋ผ ์ ์๋ ์ด๋ ํ ์ง์ ์ ๋ํด ํ์ตํ๋ ์๊ณ ๋ฆฌ์ฆ์ด๋ค. (์ ์ฒ๋ฆฌํ)๋ฐ์ดํฐ๋ฅผ ๊ทธ๋ํ๋ก ๋ํ๋ด๋ฉด ๊ทธ ๋ฐ์ดํฐ์ ํน์ฑ์ด ํ๋์ผ ๋ ๋ถํฌ์ ๋ฐ๋ผ ์ด๋ ํ ์ ์ด..
ํ๋ก์ ํธ ๊ฐ๋ฐ์ด ๋ชจ๋ ๋๋ ํ ๊ทธ ํ๋ก์ ํธ์ ๋ง์ง๋ง ๋จ๊ณ๋ ๋จ์ฐ์ฝ ์๋ฒ์ ์ฌ๋ ค์ ์ ์๋ํ๋์ง ํ์ธํ๋ ๊ฒ์ผ ๊ฒ์ด๋ค. ๋ง์นจ ์ผ๋ง ์ ์ ํ๋ก์ ํธ ๊ฐ๋ฐ์ด ๋ชจ๋ ๋๋์ ์๋ฒ์ ์ฌ๋ ค๋ณด๋ ค๋ ์ค์ธ๋ฐ ์ฌ๋ฌ ์๋ฒ ํ๋ซํผ์ด ์์ง๋ง, GCP๊ฐ ๋ฌด๋ฃ ์ฒดํํ ๋ฑ ๋ฌด๋ฃ๋ก ์ฌ์ฉํ ์ ์๋ ๋ฐฉ๋ฒ๋ค์ด ์์ด์ ์ฐ๋ฆฌ๋ Google Cloud Platform(์ดํ GCP)๋ฅผ ์ด์ฉํด์ ์๋ฒ์ ์ฌ๋ ค๋ณด๋ ค๊ณ ํ๋ค. ๋จผ์ GCP ์ฝ์์ ์ ์ํ๋ค. https://console.cloud.google.com/ ๊ทธ ๋ค์์ผ๋ก๋ ํ๋ก์ ํธ๋ฅผ ์์ฑํ๋ค. ํน์ ์ด๋ฏธ ํ๋ก์ ํธ๋ฅผ ๋ง๋ค์ด์ ๋์๋ณด๋๊ฐ ๋ฌ๋ค๋ฉด ์๋จ์ ํ๋ก์ ํธ ์ด๋ฆ์ ํด๋ฆญํด ๋จ๋ ์ฐฝ์ ํ๋ก์ ํธ๋ฅผ ๋ง๋ค ์ ์๋ ๋ฒํผ์ด ์๋ค. ํ๋ก์ ํธ ์ด๋ฆ๊ณผ ์์น๋ฅผ ์ค์ ํ๊ณ '๋ง๋ค๊ธฐ' ๋ฒํผ์ ํด๋ฆญํ๋ค. ํ๋ก์ ํธ๊ฐ ์์ฑ๋๋ฉด..
์ข์ ๋ถ์ฐ ์์คํ ์ ๊ตฌ์ถํ๊ธฐ ์ํด์๋ ํจ์จ์ ์ธ ์ ์ถ๋ ฅ๋ ์ค์ํ์ง๋ง ์ด๊ฒ๋ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์๋ค. YARN์ ํด๋ฌ์คํฐ์ ๊ณ์ฐ์ ๋ถ์ฐํ๊ณ HDFS์ ๋ณด๊ด๋ ๋ฐ์ดํฐ๋ฅผ ํ์ฅ ๊ฐ๋ฅํ๋๋ก ์ฒ๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ์ถ์ํํด์ ์ ๊ณตํ๋ ๊ฒ ๋ฟ์ด๋ค. ๋ฐ๋ผ์ ๊ณ์ฐ์ ํํํ๋ ๋ฐฉ๋ฒ์ด ์ค์ํ๋ฐ, ํ๋ก์ด ๊ฐ์ฅ ์ฒ์ ์ง์ํ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ชจ๋ธ์ ๋งต๋ฆฌ๋์ค์ด๋ค. ๋งต๋ฆฌ๋์ค๋ ๊ตฌ๊ธ์ด ๋ฐํํ๊ณ ๋ง์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์์ผ๋ฉฐ ๋จ์ํ ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ ๋๋ค. ๋๋ถ์ ๋ถ์ฐ ์์คํ ์ ์ ๋ชฐ๋ผ๋ ์ธํ๋ผ ๊ตฌ์ถ์ ๊ณ ๋ฏผํ์ง ์๊ณ ๋งต๋ฆฌ๋์ค๋ฅผ ํตํด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ ์ ์๋ค. ๋งต๋ฆฌ๋์ค๋ ๋ณ๋ ฌ ์ฒ๋ฆฌ ๋ชจ๋ธ์ด๊ณ ๋ฌธ์ ๋ฅผ ๋งต ๋จ๊ณ, ์ ํ ๋จ๊ณ, ๋ฆฌ๋์ค ๋จ๊ณ๋ก ๋๋ ์ ์ํํ๋ค. HDFS์ ๋ฐ์ดํฐ ์ง์ญ์ฑ๊ณผ YARN์ ์์ ๋ฐ ๋ฆฌ์์ค ๊ด๋ฆฌ ๊ธฐ๋ฅ์ด ์ด ์ธ ๋จ๊ณ ๊ณ์ฐ์ด ํจ์จ์ ์ด๋๋ก ๋๋๋ค. ..
์ ๋ฒ ํฌ์คํธ์์๋ windows10 ์ ์คํํฌ๋ฅผ ์ค์นํด๋ณด์๋ค. ๋ค๋ง cmd ์ฐฝ์์ ๋ชจ๋ ์์ ์ ์งํํ๊ธฐ์๋ ๋ถํธํจ์ด ์์ด์ (์์ ๋ช ๋ น์ด ๋ฑ ๋ด์ฉ ์ ์ฅ์ ๋ถํธ) ์์ผ๋ก๋ ์ฅฌํผํฐ ๋ ธํธ๋ถ์ผ๋ก ์์ ํ๊ธฐ ์ํด ์์ ํ๊ฒฝ์ ์ธํ ํ๊ณ ํ ์คํธ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์๋ณด์๋ค. ์ฅฌํผํฐ ๋ ธํธ๋ถ๊ณผ ์๋์ฝ๋ค๋ ์ด๋ฏธ ์ค์น๋์ด ์๋ค๊ณ ๊ฐ์ ํ๋ค. ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๊ณ ๊ด๋ฆฌํ๊ธฐ ์ํด ํ๋ก์ ํจ๊ป ์ฌ์ฉํ๋ค. (ํ๋ก ์ค์น ๋ฐฉ๋ฒ์ ์ด์ ํฌ์คํธ ์ฐธ๊ณ ) ์ฆ, ์ด๋ฒ ํฌ์คํธ์์ ๋ค๋ฃจ๋ ๋ด์ฉ์ ์คํํฌ์ ํ๋ก์ ์ฐ๊ฒฐํ๋ ๋ด์ฉ์ด๋ผ๊ณ ๋ณผ ์ ์๊ฒ ๋ค. (1) ํ๋ก ์คํ cmd ์ฐฝ์ ์ด์ด ํ๋ก ์ค์นํ์ผ์ด ์๋ ๋๋ ํ ๋ฆฌ๋ก ์ด๋ํ๊ณ ๋ค์ ๋ช ๋ น์ด๋ค์ ์ฐจ๋ก๋ก ์คํํ๋ค. ์ด ๋ 'hdfs namenode -format' ๋ช ๋ น์ ํ ๋๋ง๋ค ์คํํ์ง ์๊ณ ๋งจ ์ฒ์์๋ง ์คํํด๋ ๋..
์ ๋ฒ์๋ ํ๋ก์ด ๋ฌด์์ธ์ง, ๊ทธ๋ฆฌ๊ณ ํ๋ก์ ๊ธฐ๋ณธ ํ์ผ ์์คํ ์ธ ๋ถ์ฐ ํ์ผ ์์คํ ์ ๋ํด ๊ณต๋ถํ๋ค. ์ด๋ฒ์๋ ์ด์ด์ ํ๋ก์ ๋ฆฌ์์ค ๊ด๋ฆฌ์์ ์ค์ผ์ค๋ฌ์ ๋ํด ๊ณต๋ถํด๋ณด๋ ค๊ณ ํ๋ค. ๋ถ์ฐ ์์คํ ์์๋ ์ค์ผ์ค๋ง๊ณผ ๋ฆฌ์์ค ๊ด๋ฆฌ ๊ธฐ๋ฅ์ ํต์ฌ ์์๋ก ๊ฐ์ง๊ณ ์๋๋ฐ, ํ๋ก์์๋ ๊ณ์ฐ ๋ฆฌ์์ค๋ฅผ ํ ๋นํ๊ณ ์ฌ์ฉ์ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ค์ผ์ค๋งํ๋ ์์คํ ์ผ๋ก YARN ์ ์ฌ์ฉํ๋ค. YARN (Yet Another Resource Negotiator) ์ ์ค์ผ์ค๋ง๊ณผ ๋ฆฌ์์ค ๊ด๋ฆฌ๋ฅผ ๋ด๋นํ์ฌ ๋ฐ์ดํฐ์ ์ง์ญ์ฑ์ ๊ทน๋ํํ๊ณ ๊ณ์ฐ๋์ด ๋ง์ ์ ํ๋ฆฌ์ผ์ด์ ์ด ์์์ ๋ ์ ํ์ง ์๋๋ก ์ ์ดํ๋ค. ๋ํ ๊ต์ฒด๊ฐ ๊ฐ๋ฅํ ์ค์ผ์ค๋ง ์์คํ ์ ์ง์ํ๊ณ ์ฌ์ฉ์๋น ๋ฆฌ์์ค ์ ํ, ์์ ๋๊ธฐ์ด๋น ๋ฆฌ์์ค ํ ๋น๋ ๋ฑ์ ๊ณต์ฉ ๋ฆฌ์์ค ์์คํ ์ค์ผ์ค๋ง์ ํ์ํ ํ๊ฒฝ ์ค์ ์ ์ค์ผ์ค๋ฌ์..
์คํํฌ๋ฅผ ์ฌ์ฉํ ๋ ์ ์ฅ์๋ก ํ๋ก์ ์ฌ์ฉํ๊ธฐ ์ํด ํ๋ก์ ์ค์นํด๋ณด๊ฒ ๋ค. ํ๋ก ์ค์น๋ ๋ค์ ๊ณผ์ ์ ๋ฐ๋ฅธ๋ค. (1) ํ๋ก, ์๋ฐ ๋ค์ด https://hadoop.apache.org/releases.html ์ ๋งํฌ์์ ๋ฐ์ผ๋ ค๋ ํ๋ก ๋ฒ์ ์ ํ์ธํ๊ณ binary ๋ฅผ ์ ํํด ์์ถํ์ผ์ ๋ค์ด๋ฐ๋๋ค. ์์ถํ์ผ์ ~.tar.gz ํ์ฅ์ ์ด๋ฆ์ ๊ฐ์ง๊ณ ์๊ณ ๋๋ 3.2.2 ๋ฒ์ ์ ๋ฐ์๋ค. (์คํํฌ์ ํฌํจ๋ ํ๋ก ๋ฒ์ ์ด 3.2 ๋ฒ์ ์ด๋ค.) ์๋ฐ(jdk)๋ ๋ค์ด๋ฐ์์ผ ํ์ง๋ง ์๋ฐ๋ ์ด๋ฏธ ์๊ธฐ ๋๋ฌธ์ ํด๋น ๊ณผ์ ์ ์๋ตํ๋ค. (๋์ ์๋ฐ ๋ฒ์ 13) (2) ํ๊ฒฝ๋ณ์ ์ค์ ์คํํฌ ์ค์น ๋์ ๋ง์ฐฌ๊ฐ์ง๋ก ํ๊ฒฝ๋ณ์๋ฅผ ์ค์ ํ๋ค. (์ด์ ๊ฒ์๊ธ์์ ์์ธํ ๋ค๋ค์ผ๋ฏ๋ก ์ฌ๊ธฐ์๋ ํจ์คํ๋ค.) ๋ค๋ง ์ด์ ์ ์ค์ ํ๋ HADOOP_HOME ์ ํธ..