λͺ©λ‘μ 체 κΈ (60)
Study Anything π§
μ’μ λΆμ° μμ€ν μ ꡬμΆνκΈ° μν΄μλ ν¨μ¨μ μΈ μ μΆλ ₯λ μ€μνμ§λ§ μ΄κ²λ§μΌλ‘λ μΆ©λΆνμ§ μλ€. YARNμ ν΄λ¬μ€ν°μ κ³μ°μ λΆμ°νκ³ HDFSμ 보κ΄λ λ°μ΄ν°λ₯Ό νμ₯ κ°λ₯νλλ‘ μ²λ¦¬νλ λ°©λ²μ μΆμνν΄μ μ 곡νλ κ² λΏμ΄λ€. λ°λΌμ κ³μ°μ νννλ λ°©λ²μ΄ μ€μνλ°, νλ‘μ΄ κ°μ₯ μ²μ μ§μν λ°μ΄ν° μ²λ¦¬ λͺ¨λΈμ 맡리λμ€μ΄λ€. 맡리λμ€λ ꡬκΈμ΄ λ°ννκ³ λ§μ λ¬Έμ λ₯Ό ν΄κ²°ν μ μμΌλ©° λ¨μν λͺ¨λΈμ κΈ°λ°μ λλ€. λλΆμ λΆμ° μμ€ν μ μ λͺ°λΌλ μΈνλΌ κ΅¬μΆμ κ³ λ―Όνμ§ μκ³ λ§΅λ¦¬λμ€λ₯Ό ν΅ν΄ λ¬Έμ λ₯Ό ν΄κ²°ν μ μλ€. 맡리λμ€λ λ³λ ¬ μ²λ¦¬ λͺ¨λΈμ΄κ³ λ¬Έμ λ₯Ό 맡 λ¨κ³, μ ν λ¨κ³, 리λμ€ λ¨κ³λ‘ λλ μ μννλ€. HDFSμ λ°μ΄ν° μ§μμ±κ³Ό YARNμ μμ λ° λ¦¬μμ€ κ΄λ¦¬ κΈ°λ₯μ΄ μ΄ μΈ λ¨κ³ κ³μ°μ΄ ν¨μ¨μ μ΄λλ‘ λλλ€. ..
μ λ² ν¬μ€νΈμμλ windows10 μ μ€νν¬λ₯Ό μ€μΉν΄λ³΄μλ€. λ€λ§ cmd μ°½μμ λͺ¨λ μμ μ μ§ννκΈ°μλ λΆνΈν¨μ΄ μμ΄μ (μμ λͺ λ Ήμ΄ λ± λ΄μ© μ μ₯μ λΆνΈ) μμΌλ‘λ μ₯¬νΌν° λ ΈνΈλΆμΌλ‘ μμ νκΈ° μν΄ μμ νκ²½μ μΈν νκ³ ν μ€νΈλ‘ λ°μ΄ν°λ₯Ό λΆλ¬μ보μλ€. μ₯¬νΌν° λ ΈνΈλΆκ³Ό μλμ½λ€λ μ΄λ―Έ μ€μΉλμ΄ μλ€κ³ κ°μ νλ€. λ°μ΄ν°λ₯Ό μ μ₯νκ³ κ΄λ¦¬νκΈ° μν΄ νλ‘μ ν¨κ» μ¬μ©νλ€. (νλ‘ μ€μΉ λ°©λ²μ μ΄μ ν¬μ€νΈ μ°Έκ³ ) μ¦, μ΄λ² ν¬μ€νΈμμ λ€λ£¨λ λ΄μ©μ μ€νν¬μ νλ‘μ μ°κ²°νλ λ΄μ©μ΄λΌκ³ λ³Ό μ μκ² λ€. (1) νλ‘ μ€ν cmd μ°½μ μ΄μ΄ νλ‘ μ€μΉνμΌμ΄ μλ λλ ν λ¦¬λ‘ μ΄λνκ³ λ€μ λͺ λ Ήμ΄λ€μ μ°¨λ‘λ‘ μ€ννλ€. μ΄ λ 'hdfs namenode -format' λͺ λ Ήμ ν λλ§λ€ μ€ννμ§ μκ³ λ§¨ μ²μμλ§ μ€νν΄λ λ..
μ λ²μλ νλ‘μ΄ λ¬΄μμΈμ§, κ·Έλ¦¬κ³ νλ‘μ κΈ°λ³Έ νμΌ μμ€ν μΈ λΆμ° νμΌ μμ€ν μ λν΄ κ³΅λΆνλ€. μ΄λ²μλ μ΄μ΄μ νλ‘μ 리μμ€ κ΄λ¦¬μμ μ€μΌμ€λ¬μ λν΄ κ³΅λΆν΄λ³΄λ €κ³ νλ€. λΆμ° μμ€ν μμλ μ€μΌμ€λ§κ³Ό 리μμ€ κ΄λ¦¬ κΈ°λ₯μ ν΅μ¬ μμλ‘ κ°μ§κ³ μλλ°, νλ‘μμλ κ³μ° 리μμ€λ₯Ό ν λΉνκ³ μ¬μ©μ μ ν리μΌμ΄μ μ μ€μΌμ€λ§νλ μμ€ν μΌλ‘ YARN μ μ¬μ©νλ€. YARN (Yet Another Resource Negotiator) μ μ€μΌμ€λ§κ³Ό 리μμ€ κ΄λ¦¬λ₯Ό λ΄λΉνμ¬ λ°μ΄ν°μ μ§μμ±μ κ·Ήλννκ³ κ³μ°λμ΄ λ§μ μ ν리μΌμ΄μ μ΄ μμμ λ μ νμ§ μλλ‘ μ μ΄νλ€. λν κ΅μ²΄κ° κ°λ₯ν μ€μΌμ€λ§ μμ€ν μ μ§μνκ³ μ¬μ©μλΉ λ¦¬μμ€ μ ν, μμ λκΈ°μ΄λΉ 리μμ€ ν λΉλ λ±μ κ³΅μ© λ¦¬μμ€ μμ€ν μ€μΌμ€λ§μ νμν νκ²½ μ€μ μ μ€μΌμ€λ¬μ..
μ€νν¬λ₯Ό μ¬μ©ν λ μ μ₯μλ‘ νλ‘μ μ¬μ©νκΈ° μν΄ νλ‘μ μ€μΉν΄λ³΄κ² λ€. νλ‘ μ€μΉλ λ€μ κ³Όμ μ λ°λ₯Έλ€. (1) νλ‘, μλ° λ€μ΄ https://hadoop.apache.org/releases.html μ λ§ν¬μμ λ°μΌλ €λ νλ‘ λ²μ μ νμΈνκ³ binary λ₯Ό μ νν΄ μμΆνμΌμ λ€μ΄λ°λλ€. μμΆνμΌμ ~.tar.gz νμ₯μ μ΄λ¦μ κ°μ§κ³ μκ³ λλ 3.2.2 λ²μ μ λ°μλ€. (μ€νν¬μ ν¬ν¨λ νλ‘ λ²μ μ΄ 3.2 λ²μ μ΄λ€.) μλ°(jdk)λ λ€μ΄λ°μμΌ νμ§λ§ μλ°λ μ΄λ―Έ μκΈ° λλ¬Έμ ν΄λΉ κ³Όμ μ μλ΅νλ€. (λμ μλ° λ²μ 13) (2) νκ²½λ³μ μ€μ μ€νν¬ μ€μΉ λμ λ§μ°¬κ°μ§λ‘ νκ²½λ³μλ₯Ό μ€μ νλ€. (μ΄μ κ²μκΈμμ μμΈν λ€λ€μΌλ―λ‘ μ¬κΈ°μλ ν¨μ€νλ€.) λ€λ§ μ΄μ μ μ€μ νλ HADOOP_HOME μ νΈ..
https://programmers.co.kr/learn/courses/30/lessons/72410 [λ¬Έμ ] μ κ· μ μ κ° μ λ ₯ν μμ΄λλ₯Ό λνλ΄λ new_idκ° λ§€κ°λ³μλ‘ μ£Όμ΄μ§ λ, "λ€μ€"κ° μ€κ³ν 7λ¨κ³μ μ²λ¦¬ κ³Όμ μ κ±°μΉ νμ μΆμ² μμ΄λλ₯Ό return νλλ‘ solution ν¨μλ₯Ό μμ±ν΄ μ£ΌμΈμ. [μ νμ¬ν] new_idλ κΈΈμ΄ 1 μ΄μ 1,000 μ΄νμΈ λ¬Έμμ΄μ λλ€. new_idλ μνλ²³ λλ¬Έμ, μνλ²³ μλ¬Έμ, μ«μ, νΉμλ¬Έμλ‘ κ΅¬μ±λμ΄ μμ΅λλ€. new_idμ λνλ μ μλ νΉμλ¬Έμλ -_.~!@#$%^&*()=+[{]}:?,/ λ‘ νμ λ©λλ€. [νμ΄] def solution(new_id): new_id = new_id.lower() rmv = '~!@#$%^&*()=+[{]}:?,/'..
μΆμ² : https://programmers.co.kr/learn/courses/30/lessons/77484 μ€λͺ > λ‘λλ₯Ό ꡬ맀νλλ° μΌλΆ λ²νΈλ₯Ό μμλ³Ό μ μκ² λμμ΅λλ€. λΉμ²¨ λ²νΈ λ°ν ν, ꡬ맀νλ λ‘λλ‘ λΉμ²¨μ΄ κ°λ₯νλ μ΅κ³ μμμ μ΅μ μμλ₯Ό μμλ³΄κ³ μΆμ΄μ‘μ΅λλ€. μμλ³Ό μ μλ λ²νΈλ₯Ό 0μΌλ‘ νκΈ°νκΈ°λ‘ νκ³ , ꡬ맀ν λ‘λ λ²νΈ 6κ°κ° 44, 1, 0, 0, 31 25λΌκ³ κ°μ ν΄λ³΄κ² μ΅λλ€. λΉμ²¨ λ²νΈ 6κ°κ° 31, 10, 45, 1, 6, 19λΌλ©΄, λΉμ²¨ κ°λ₯ν μ΅κ³ μμμ μ΅μ μμλ 3λ±, 5λ±μ λλ€. (1λ± - 6κ° λ²νΈ λͺ¨λ μΌμΉ, 2λ± - 5κ° μΌμΉ, 3λ± - 4κ° μΌμΉ, 4λ± - 3κ° μΌμΉ, 5λ± - 2κ° μΌμΉ, 6λ±(λ첨) - κ·Έ μΈ) ꡬ맀ν λ‘λ λ²νΈλ₯Ό λ΄μ λ°°μ΄ lotto..
μ€λλ‘μ 'κ³ μμ΄μ μ± μ' νλ‘μ νΈμ μν μμ± κ΄λ ¨ κΈ°λ₯μ λͺ¨λ λ§μ³€λ€! λ‘κ·ΈμΈ, νμ μ 보, κ²μ, μν μμ± μ κΈ°λ₯λ€μ κ°μ§ νλ‘μ νΈμλλ° κ·Έ μ€ λλ μν μμ± κΈ°λ₯μ 맑μκ³ μνμ CRUD, μ¦ μμ±νκ³ (Create) λΆλ¬μ€κ³ (Read) μμ νκ³ (Update) μμ νλ(Delete) κΈ°λ₯μ λͺ¨λ ꡬννλ€. μ₯κ³ νλ μμν¬λ₯Ό μ²μ μ¬μ©ν΄λ³΄λκ±°λΌ μ ν μ μμκΉ νλ λ§μλ λ€μμ§λ§ λͺ¨λ₯΄λλ§νΌ μ΄μ¬ν 곡λΆνλ©° νλ‘μ νΈλ₯Ό μ§ννκ³ λλ λλ΄κ³ λμλ λΏλ―ν λ§μμ΄ λ¨λλ€. ν λ¬ λ°μ κΈΈλ€λ©΄ κΈΈκ³ , 짧λ€λ©΄ 짧μ μκ°λμ νλ‘μ νΈλ₯Ό μ§ννλ©΄μ (κΈμ μ±κ³΅ν κ²½μ°λ§ μμ±νλ€λ³΄λ λ΄μ©μ΄ λ§μ§λ μμ§λ§) κ°μ’ μνμ°©μ€μ μ€λ₯λ€μ κ²ͺμΌλ©΄μ μ₯κ³ μ 리μ‘νΈμ κ΄ν΄ ν λ°μ§ λμκ° μ μμλ€. νλ‘ νΈμλ ν΄μΈ ..
μ€νν¬λ λ°μ΄ν° κ³Όνμμ μμ£Ό λ³Ό μ μλ λ°λ³΅ μ°μ°μ μ ν©ν κ°λ κ³Ό κΈ°λ₯μ μ 곡νλ μΈ-λ©λͺ¨λ¦¬ λ°μ΄ν° μ²λ¦¬ μμ§μΌλ‘ λΉ λ₯Έ μλκ° νΉμ§μ΄λ€. λ€μν μΈμ΄μ λ°μ΄ν° ν¬λ§·μ μ§μνκ³ λ°μ΄ν° μ μ²λ¦¬λ₯Ό ν¨κ³Όμ μΌλ‘ μνν μ μμ΄μ λΉ λ°μ΄ν° νμΌ μμ€ν μΌλ‘ λ§μ΄ μ°μ΄λ νλ‘κ³Ό κ°μ΄ μ°μ΄κΈ°λ νλ€. κΈ°λ³Έμ μΈ λΆμ° μ²λ¦¬ κΈ°λ₯ λΏ μλλΌ μ€νν¬ SQL, MLlib, μ€νΈλ¦¬λ° λ± μ¬λ¬ κ΅¬μ± μμκ° μλ€. κΈ°λ³Έ λ°μ΄ν° ꡬ쑰λ‘λ κ°μ²΄μ λΆμ° μνμ€μΈ RDD(Resilient Distributed Dataset)λ₯Ό μ¬μ©νλ©° RDDλ λ€μν κ΄κ³ λμ μ°μ°μ(SELECT, JOIN λ±)μ μ€μΉΌλΌ, νμ΄μ¬ λ³ν λ‘μ§μ νΌμ°μ°μλ‘ μ μ©λ μ μλ€. RDDλ λν RAMμ μ μ₯λλ©° μλμΌλ‘ κ²°ν¨μ 극볡νλ λ©μ»€λμ¦μ μ§μνλ€. λ§μ½..
λ°μ΄ν° κ³Όν, λ°μ΄ν° λΆμμ κ΄μ¬μ΄ μλ€λ©΄ ν λ²μ―€ μ νκ² λλ μ΄λ¦μ΄ λ°λ‘ 'νλ‘(Hadoop)'μ΄λ€. νλ‘μ μλ° κΈ°λ°μ λΆμ° μ»΄ν¨ν νλ«νΌμΌλ‘, ν΅μ¬ νμΌ μμ€ν μΈ HDFS(Hadoop Distributed File System) λλΆμ λμ©λμ λ°μ΄ν°λ₯Ό μ μ₯νκ³ λ€λ£° μ μλ€. μ΄λ»κ² μ΄λ° κ΄λ¦¬κ° κ°λ₯ν κΉ? νλ‘μ ꡬκΈμ GFS(Google File System)λ₯Ό κΈ°λ°μΌλ‘ μ€κ³λμλλ°, μΌλ°μ μΈ νμΌ μμ€ν μ κ°μ§ μ¬λ¬ λ°μ΄ν°λ Έλλ₯Ό λ¬Άμ΄μ νλμ λΆμ° νμΌ μμ€ν μ ꡬμΆνλλ‘ νμλ€. λ°λΌμ νμΌ μμ€ν μ μ½κ² νμ₯ν μ μκ² λμκ³ λμ©λμ λ°μ΄ν°λ₯Ό μ μ₯νκ³ κ΄λ¦¬ν μ μκ² λμλ€. μ΄λ° HDFSμ μ€κ³μλ μΈ κ°μ§μ κ°μ μ΄ λ°μλμλλ° μ²« λ²μ§Έ, λ°μ΄ν°μ ν μ€μΊλμ μ§μνκΈ° μν΄μ νμΌ μ..
μ λ² ν¬μ€νΈμμλ μνμ μμ±νκ³ λΆλ¬μ€λ(μ‘°ννλ) ν¨μλ₯Ό μμ±νλ€. μ΄λ²μλ CRUD μ€ Update, Delete κΈ°λ₯μ ꡬννλ PUT, DELETE ν¨μλ₯Ό μμ±ν΄λ³΄λ €κ³ νλ€. κΈ°λ³Έ ꡬ쑰λ μ΄μ μ μμ±ν ν¬μ€νΈμμ νμΈν μ μλ€. (1) app/urls.py μμ post, get κ³Ό λ§μ°¬κ°μ§λ‘ νΈμΆλλ url μ ν¨μμ μ°κ²°νλ€. path('edit/', views.ReviewView.as_view()), path('delete/', views.ReviewView.as_view()) (2) app/views.py νμΌμ ν¨μ μμ± APIView ν΄λμ€λ₯Ό μμλ°μ μμ±ν ν΄λμ€ μμ put, delete ν¨μλ₯Ό μμ±νλ€. ... def put(self, request): data = reques..