Study Anything 🧐

스파크는 데이터 과학에서 자주 볼 수 있는 반복 연산에 적합한 개념과 기능을 제공하는 인-메모리 데이터 처리 엔진으로 빠른 속도가 특징이다. 다양한 언어와 데이터 포맷을 지원하고 데이터 전처리를 효과적으로 수행할 수 있어서 빅데이터 파일 시스템으로 많이 쓰이는 하둡과 같이 쓰이기도 한다. 기본적인 분산 처리 기능 뿐 아니라 스파크 SQL, MLlib, 스트리밍 등 여러 구성 요소가 있다. 기본 데이터 구조로는 객체의 분산 시퀀스인 RDD(Resilient Distributed Dataset)를 사용하며 RDD는 다양한 관계 대수 연산자(SELECT, JOIN 등)와 스칼라, 파이썬 변환 로직의 피연산자로 적용될 수 있다. RDD는 또한 RAM에 저장되며 자동으로 결함을 극복하는 메커니즘을 지원한다. 만약..

데이터 과학, 데이터 분석에 관심이 있다면 한 번쯤 접하게 되는 이름이 바로 '하둡(Hadoop)'이다. 하둡은 자바 기반의 분산 컴퓨팅 플랫폼으로, 핵심 파일 시스템인 HDFS(Hadoop Distributed File System) 덕분에 대용량의 데이터를 저장하고 다룰 수 있다. 어떻게 이런 관리가 가능할까? 하둡은 구글의 GFS(Google File System)를 기반으로 설계되었는데, 일반적인 파일 시스템을 가진 여러 데이터노드를 묶어서 하나의 분산 파일 시스템을 구축하도록 하였다. 따라서 파일 시스템을 쉽게 확장할 수 있게 되었고 대용량의 데이터를 저장하고 관리할 수 있게 되었다. 이런 HDFS의 설계에는 세 가지의 가정이 반영되었는데 첫 번째, 데이터의 풀 스캐닝을 지원하기 위해서 파일 순..

프로젝트를 여러 명이 함께 진행하다보니 각 팀원이 서로 다른 앱을 구현하게 되는데, 이 때 다른 앱의 모델 필드를 외래키로 사용하거나 모델 자체를 내 앱에서 사용하는 경우 어떻게 사용하면 되는지에 대한 내용을 다뤄보려고 한다. 편의상 내 앱의 이름은 'myapp', 다른 팀원의 앱 이름은 'yourapp'으로 서술하도록 하겠다. 모델들의 내용은 다음과 같다. # myapp/models.py class Review(models.Model): ... userId = models.ForeignKey(User, on_delete=models.CASCADE) ... # yourapp/models.py class User(models.Model): ... Review 모델에서는 User 모델을 외래키로 사용하지만 ..

프로젝트를 진행하다가 초기에 작성했던 모델 내용을 수정하고, 데이터를 모두 삭제해야 할 이슈가 발생해서 관련 내용을 수행하고 글로 정리해보려고 한다. (1) 모델 수정하기 기존에 작성했던 모델의 내용은 다음과 같다. # app/models.py class Review(models.Model): reviewId = models.IntegerField(primary_key=True)# 삭제할 내용 userId = models.ForeignKey(User, on_delete=models.CASCADE) bookId = models.CharField(max_length=30) reviewTxt = models.TextField() 이 내용에서 서평 제목, 서평 평점, 서평 작성날짜 필드를 추가하고 PK인 rev..

참고 : https://wikidocs.net/75004 Pandas(이하 판다스)는 파이썬 라이브러리로, 데이터 조작 및 분석에 용이하며 사용하기 쉬운 데이터 구조를 제공한다. 데이터프레임, 시리즈, 인덱스 등의 자료구조를 제공하며 관계형 데이터베이스의 테이블과 같은 구조로, SQL과 같은 형태로 데이터를 처리할 수 있기 때문에 쉽게 접근할 수 있다. 단독 사용보다는 NumPy, scikit-leran, matplotlib 과 함께 사용하는 경우가 많다. (1) 판다스의 자료구조 판다스가 제공하는 자료구조이다. 시리즈는 배열 형식, 데이터프레임은 표 형식의 구조이며 시리즈가 모여 데이터프레임을 구성한다. 시리즈 : 값(values) + 인덱스(index) 데이터프레임 : 칼럼(columns) + 인덱스..

참고 : https://www.django-rest-framework.org/api-guide/serializers/ 장고 레스트 프레임워크(Django REST Framework)를 이용해 REST API 환경을 구축하다보면 Serializer를 거의 필수적으로 사용하게 된다. 하지만 Serializer가 어떤 개념인지 잘 와닿지 않아서 Serializer에 대해 공부하고 알게 된 것들을 정리해보려고 한다. (1) Serializer란? 쿼리셋이나 모델 인스턴스 같은 복잡한 데이터들을 네이티브 파이썬 데이터 타입으로 변환하여 json, xml 등의 컨텐츠 타입으로 쉽게 렌더링할 수 있게 한다. 데이터를 직렬화하는 Serializer는 역직렬화 기능 또한 제공하기 때문에 들어오는 데이터를 검증한 후에 분..

장고와 리액트를 연결하는 여러 방법 중 DRF(Django REST Framework)를 활용하는 방법이 있다. REST API 를 통하면 데이터의 CRUD(Create, Read, Update, Delete)를 쉽게 처리할 수 있는데, 이번 포스트에서는 특히 데이터의 Create, 리액트에서 작성한 글을 장고 모델에 등록하는 과정을 다뤄보려고 한다. (리액트와 장고의 설치는 생략하도록 하겠다.) 장고 REST API 를 구축하는 과정은 이전 포스트에서 다루었다. 장고 모델을 json 객체로 추출하기 (DRF) 장고로 프로젝트를 진행하다 보면 프론트와 연동하게 될 때가 있다. 이 방법들은 이전 포스트(link)에서 자세히 설명했고, 이 포스트에서는 그 중 장고에서 만든 모델을 json 객체로 추출해서 접..

장고로 프로젝트를 진행하다 보면 프론트와 연동하게 될 때가 있다. 이 방법들은 이전 포스트(link)에서 자세히 설명했고, 이 포스트에서는 그 중 장고에서 만든 모델을 json 객체로 추출해서 접근하는 방법을 알아보도록 하겠다. Django REST Framework(DRF)는 웹에서 REST API 서버를 구축할 수 있도록 도와주는 오픈소스 라이브러리이다. 다양한 기기와 플랫폼이 만들어지면서 데이터를 다룰 때 기존의 방법에 한계가 생겼고, 이를 해결하기 위해 등장한 도구가 REST API이다. (1) 준비하기 먼저, DRF 를 사용하기 위해 터미널에서 다음 명령어를 입력해 DRF를 설치한다. pip install djangorestframework 다음으로 리액트에서 장고가 만드는 api에 접근할 수 ..

참고: https://wikidocs.net/70650 이전 글에서 모델을 만들고 migrate 해서 앱에 적용하는 방법까지 배웠다. 이것을 내 프로젝트에 적용해서 모델을 만들고 데이터를 조회하는 페이지를 만들어보도록 하겠다. (1) 모델 만들기 (models.py 파일 작성) 모델 > User 테이블 속성명 데이터타입 userId (PK) int userEmail varchar(30) userPw varchar(20) userName varchar(20) 모델 > Review 테이블 속성명 데이터타입 reviewId (PK) int userId (FK) int bookId varchar(30) reviewTxt text 다음의 속성을 가진 유저 테이블과 서평 테이블을 생성한다. class User(mo..

참고: https://wikidocs.net/73306 (1) 앱 장고에서는 기능을 수행하기 위해 '앱'이라는 형식을 사용한다. 프로젝트에 앱을 만드는 명령어는 다음과 같다. (mysite) C:\(생략)\DjangoProj\mysite>django-admin startapp myapp#앱 이름: myapp 앱이 생성되었으니 필요한 내용과 구현할 기능을 IDE에서 작성하고 개발서버를 구동한 다음 주소 뒤에 '/myapp' 를 붙이면 해당 기능이 구현된 웹 페이지가 띄워진다. 해당 페이지가 제대로 작동하려면 '프로젝트/config/urls.py' 에 url 매핑을 추가해야 한다. (...) urlpatterns = [ (...) path('myapp', 함수명) (...) ] (...) 다음과 같이 매핑을..