butter_shower

파케이(parquet)이란 하둡에서 칼럼방식으로 저장하는 저장 포맷을 말합니다. 파케이는 프로그래밍 언어, 데이터 모델 혹은 데이터 처리 엔진과 독립적으로 엔진과 하둡 생태계에 속한 프로젝트에서 칼럼 방식으로 데이터를 효율적으로 저장하여 처리 성능을 비약적으로 향상시킬 수 있습니다. 열(Column)기반 압축을 하고있는데 이는 칼럼의 데이터가 연속된 구조로 저장되어 있다. Row 중심으로 저장되어있는 것과는 아래 사진을 보면 이해가 빠를 것 같습니다. 열을 기반으로 데이터를 처리하면 행 기반으로 압축했을때에 비해 데이터의 압축률이 더 높고, 필요한 열의 데이터만 읽어서 처리하는 것이 가능하기 때문에 데이터 처리에 들어가는 지원을 절약할 수 있습니다. 파케이는 하둡 에코시스템 안에서 언제든지 사용 가능한 ..

알고리즘 문제를 풀다보면 종종 나오는 투포인터 알고리즘! 막 꼬여가지고 ㅋㅋㅋ 저도 중간에 제대로 못짜고 그러는 경우가 많은데요, 많은 코딩테스트 문제에 등장하는 것은 아니지만 잊을만하면 종종 등장하는 투포인터 알고리즘에 대해 알아봅시다! 투포인터 (Two Pointers) 리스트에 순차적으로 접근해야 할 때 두 개의 점의 위치를 기록하면서 처리하는 알고리즘 정렬되어있는 두 리스트의 합집합에도 사용됨. 병합정렬(merge sort)의 counquer 영역의 기초가 되기도 합니다. 예제 문제 - 특정한 합을 가지는 부분 연속 수열 찾기 투포인터 알고리즘의 대표적인 문제입니다. 어떤 숫자들의 리스트가 주어질 때, 해당 리스트의 연속 수열의 합이 특정 값을 가지는 것을 확인하는 문제입니다. 시작점과 끝점이 첫..

최근은 아니지만.. 최근인가? 최근에 TFLite를 안드로이드에서 실행해야하는 상황이 생겼는데요, 그때 사용해야하는 툴 중에서 이 Bazel이라는 것을 알게되어 한번 정리해보려고 합니다!! ☺️ 빌드 도구라고 함은 짧은 모바일/백엔드 지식으로.. gradle과 maven밖에 몰랐는데 이런 것도 있다니 신기하네요 ㅎㅁㅎ; 아직 안드로이드 환경에서 실행해보지는 않았지만 환경 셋팅만 해도 매우 헉헉대서 ㅋㅋㅋㅋㅠㅠ 중간 정리하는 겸사겸사 글을 작성합니다. Bazel이란? https://docs.bazel.build/versions/master/bazel-overview.html Bazel Overview Bazel Overview Bazel is an open-source build and test tool ..