Study Anything π§
[Hadoop] YARN - 리μμ€ κ΄λ¦¬μμ μ€μΌμ€λ¬ λ³Έλ¬Έ
μ λ²μλ νλ‘μ΄ λ¬΄μμΈμ§, κ·Έλ¦¬κ³ νλ‘μ κΈ°λ³Έ νμΌ μμ€ν μΈ λΆμ° νμΌ μμ€ν μ λν΄ κ³΅λΆνλ€.
μ΄λ²μλ μ΄μ΄μ νλ‘μ 리μμ€ κ΄λ¦¬μμ μ€μΌμ€λ¬μ λν΄ κ³΅λΆν΄λ³΄λ €κ³ νλ€.
λΆμ° μμ€ν μμλ μ€μΌμ€λ§κ³Ό 리μμ€ κ΄λ¦¬ κΈ°λ₯μ ν΅μ¬ μμλ‘ κ°μ§κ³ μλλ°, νλ‘μμλ κ³μ° 리μμ€λ₯Ό ν λΉνκ³ μ¬μ©μ μ ν리μΌμ΄μ μ μ€μΌμ€λ§νλ μμ€ν μΌλ‘ YARN μ μ¬μ©νλ€.
YARN (Yet Another Resource Negotiator) μ μ€μΌμ€λ§κ³Ό 리μμ€ κ΄λ¦¬λ₯Ό λ΄λΉνμ¬ λ°μ΄ν°μ μ§μμ±μ κ·Ήλννκ³ κ³μ°λμ΄ λ§μ μ ν리μΌμ΄μ μ΄ μμμ λ μ νμ§ μλλ‘ μ μ΄νλ€.
λν κ΅μ²΄κ° κ°λ₯ν μ€μΌμ€λ§ μμ€ν μ μ§μνκ³ μ¬μ©μλΉ λ¦¬μμ€ μ ν, μμ λκΈ°μ΄λΉ 리μμ€ ν λΉλ λ±μ κ³΅μ© λ¦¬μμ€ μμ€ν μ€μΌμ€λ§μ νμν νκ²½ μ€μ μ μ€μΌμ€λ¬μ μ λ ₯ν μ μλ€.
YARNμ ν΄λ¬μ€ν°μ 리μμ€λ₯Ό 컨ν μ΄λλ‘ λΆν νκ³ , 컨ν μ΄λλ κΈ°λ³Έμ μΌλ‘ ν λΉλλ CPUμ μ½μ΄ μμ λ©λͺ¨λ¦¬ μ©λμΌλ‘ μ μλλ©° μΆκ°μ μΈ λ¦¬μμ€(CPU μ½μ΄, λ©λͺ¨λ¦¬, GPU, μ€ν 리μ§) λ±μ ν¬ν¨νκΈ°λ νλ€.
YARNμ μ€ν μ€μΈ 컨ν μ΄λλ€μ λͺ¨λν°λ§νλ©° 컨ν μ΄λκ° λ¦¬μμ€(CPU, λ©λͺ¨λ¦¬, λμ€ν¬, λ€νΈμν¬ λ±)μ μ΅λ ν λΉλμ μ΄κ³Όνμ§ μλλ‘ μ μ΄νλ€.
λ€λ₯Έ μν¬νλ‘μ° μ€μΌμ€λ¬λ€κ³Ό λ¬λ¦¬ λ°μ΄ν° μ§μμ±λ 리μμ€λ‘ μ 곡νλλ°, 맡리λμ€ κ°μ YARN μ ν리μΌμ΄μ μμλ νΉμ ν 컨ν μ΄λκ° νΉμ λ°μ΄ν°λ₯Ό μ μ₯νκ³ μκ±°λ μ΅λν κ°κΉκ² μ°κ²°λ μλ²μμ μ€νλλλ‘ μμ²ν μ μλ€.
YARNμ ν΄λ¬μ€ν°μ 리μμ€λ₯Ό 컨ν μ΄λλ‘ κ΄λ¦¬νλ©° λΆμ° μμ€ν μ μννκ² μ΄μνκ³ ν΄λ¬μ€ν°μ 리μμ€λ₯Ό μ¬λ¬ μ ν리μΌμ΄μ μ 곡νν λ°©μμΌλ‘ 곡μ νλ€. 컨ν μ΄λλ₯Ό λΉκ³΅κ°λ‘ μ€μ νμ¬ μ¬μ©μλ³λ‘ λΆλ¦¬ν μλ μκ³ , μ¬μ©μκ° μμ²ν μμ μ μ λΉν μμ μ μμν μλ μλ€.
μμ μ΄ν΄λ³Έ λ΄μ©μ ν λλ‘ νλ‘μ μ 체μ μΈ κ΅¬μ‘°λ₯Ό 보면 λ€μκ³Ό κ°λ€.
맡리λμ€, ν μ¦, μ€νν¬, SAS λ±μ μ²λ¦¬ μμ§ |
YARN I μ€μΌμ€λ¬ μ 곡, 컨ν μ΄λ κ΄λ¦¬μ λΆλ¦¬(리μμ€ κ΄λ¦¬), λ°μ΄ν° μ§μμ±μ 리μμ€λ‘ μ¬μ© |
HDFS (νλ‘ λΆμ° νμΌ μμ€ν ) |
μ°Έκ³ : γνλ‘κ³Ό μ€νν¬λ₯Ό νμ©ν μ€μ© λ°μ΄ν° κ³Όνγ, μ€νΌ λ©λΈλ¦¬λΉμΉ μΈ 2λͺ
'μ€ν°λ > Data Analytics' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
[Hadoop] 맡리λμ€ - λΆμ° λ°μ΄ν° μ²λ¦¬ νλ μμν¬ (0) | 2022.02.26 |
---|---|
[PySpark] μ₯¬νΌν° λ ΈνΈλΆμΌλ‘ PySpark μ¬μ©νκΈ° (0) | 2022.02.25 |
[Hadoop] νλ‘ μ€μΉνκ³ νμΈν΄λ³΄κΈ° (0) | 2022.02.23 |
[Spark] μ€νν¬ μ€μΉνκ³ csv νμΌ λΆλ¬μ€κΈ° (0) | 2022.02.15 |
[Hadoop] νλ‘κ³Ό λΆμ° νμΌ μμ€ν (0) | 2022.02.14 |