이 영역을 누르면 첫 페이지로 이동
butter_shower 블로그의 첫 페이지로 이동

butter_shower

페이지 맨 위로 올라가기

butter_shower

전체보기

  • butter_shower
Jenkins Agent 연결의 종류 및 JNLP 끊김 해결 (JNLP -> WebSocket 연결로 전환)

Jenkins Agent 연결의 종류 및 JNLP 끊김 해결 (JNLP -> WebSocket 연결로 전환)

2024.02.27
Jenkins Agent와 Master가 연결하는데에는 크게 (1)JNLP 방식과 (2)WebSocket 방식이 있습니다. Jenkins의 Master - Agent 연결 방식의 종류 JNLP (Java Network Launch Protocol) 방식 master와 agent가 연겨하는 데에 별도의 포트를 사용하여 master - agent 통신을 위한 독립적인 채널을 사용하는 방식 Jenkins 초기 버전부터 사용되어 온 방식 장점 : Jenkins에서 웹 트래픽과 Agent 통신 트래픽을 분리하여 관리할 수 있음. 단점 : 방화벽 설정이나 네트워크 정책에 따라 연결 문제를 일으킬 수 있음. WebSocket 방식 HTTP 연결을 업그레이드하여 양방향 통신 채널을 제공하는 방식으로, 웹 표준 기술이며..
파이썬에서 백업 파일 및 임시 파일 생성하는 방법

파이썬에서 백업 파일 및 임시 파일 생성하는 방법

2024.02.20
가끔가다가 파일을 읽고 저장하는 과정에서 오류가 발생할 시 파일이 손상되어 더이상 사용할 수 없게 되는 경우들이 발생할 수 있다. 이를 위해 기존 파일에 대한 백업파일을 생성하고, 임시 파일에서 write 작업을 한뒤 기존 파일로 교체해주는 작업을 해줄 수 있다. 1. 백업 파일 생성하는 방법 파이썬의 shutil 라이브러리 내 .copy 함수를 이용하여 백업 파일을 생성하면 된다. import shutil path = '/path/to/data.pkl' # 임시 및 백업 경로 설정 temp_path = path + '.temp' backup_path = path + '.backup' # 백업 파일 생성 shutil.copy(path, backup_path) 2..
Ray와 Ray를 이용한 ML모델 학습 예시

Ray와 Ray를 이용한 ML모델 학습 예시

2024.02.15
https://www.ray.io/ Productionizing and scaling Python ML workloads simply | Ray Scale your compute-intensive Python workloads. From reinforcement learning to large-scale model serving, Ray makes the power of distributed compute easy and accessible to every engineer. www.ray.io Ray란? 오픈소스 분산 컴퓨팅 프레임워크. Python 기반으로 간단하면서도 강력한 API를 제공하고 있다. (한마디로, 편하다!) 기계학습, 강화학습 등의 컴퓨팅 작업도 수월하게 처리 가능함. 핵심 기능 간편한..
Anaconda Conda 가상환경에서 pip로 패키지 설치하기

Anaconda Conda 가상환경에서 pip로 패키지 설치하기

2024.02.15
conda 가상환경 생성 및 활성화 후에도 pip로 설치하면 제대로 설치가 되지 않는 경우가 있을 수 있습니다. 그럴때는 먼저 `which pip`를 해서 현재 pip의 경로가 어디로 설정되어있는지 한번 확인해주세요. 그렇지 않다면 절대경로를 입력해서 설치하는 방법이 있습니다. conda 가상환경 활성화 conda activate [가상환경명] conda 가상환경에 pip설치하기 conda install pip conda 가상환경의 절대경로에 pip로 설치하기 (예시 : 경로는 다를 수 있습니다) ~/.conda/envs/[가상환경명]/bin/pip install [패키지명]
[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 5주차

[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 5주차

2024.02.05
Chapter 6. 비지도학습 6-1. 군집 알고리즘 비지도학습 (unsupervised learning) 타깃 (label)이 없을때 사용하는 알고리즘. 군집화 (clustering) 비슷한 샘플끼리 그룹으로 모으는 작업 클러스터 (clusert) : 군집 알고리즘으로 만든 그룹 6-2. k-평균 k-평균 (k-means) : 평균값을 자동으로 찾아주는 대표적인 군집 알고리즘 평균값이 클러스터의 중심에 위치하기 때문에 클러스터 중심 (cluser cener) 또는 센트로이드 (centroid) 라고 불림. 알고리즘 동작 방법 1. 무작위로 k개의 클러스터 중심을 정함 2. 각 샘플에서 가장 가까운 클러스터 중심을 찾아 해당 클러스터의 샘플로 지정 3. 클러스터에 속한 샘플의 평균 값으로 클러스터의 중심..
[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 4주차

[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 4주차

2024.01.29
Chapter 5. 트리 알고리즘 5-1. 결정 트리 결정 트리 (Decision Tree) 예/아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘 비교적 예측 과정을 이해하기 쉽고 성능도 뛰어남. 불순도 (Gini impurity) 결정트리가 최적의 질문을 찾기 위한 기준 $$\text{지니 불순도} = 1 - (\text{음성 클래스의 비율}^2 + \text{양성 클래스 비율}^2 )$$ 정보이득 (information gain) 부모 노드와 자식 노드의 불순도 차이. 결정트리는 제한없이 성장하면 과대적합 되기가 쉬움. 따라서 가지치기를 함으로써 결정트리의 성장을 제한하는 것도 한 방법 5-2. 교차 검증과 그리드 서치 검증 세트 (validation set) 모델의 과대적합을 막기 위..
[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 3주차

[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 3주차

2024.01.21
Chapter 4. 다양한 분류 알고리즘 4-1. 로지스틱 회귀 Logistic regression 이름은 회귀지만 사실은 분류 모델. 선형 방정식을 사용한 분류 알고리즘. 선형 회귀와 달리 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스의 확률을 출력할 수 있다. 시그모이드 함수 : 선형 방정식의 출력을 0과 1 사이의 값으로 압축. 소프트맥스 함수 : 다중 분류에서 여러 선형 방정식의 출력 결과를 정규화하여 합이 1이 되도록 만듦 4-2. 확률적 경사하강법 점진적 학습 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 훈련하는 학습법. 대표적으로 확률적 경사하강법이 있다. 확률적 경사하강법이란? 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾..
[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 2주차

[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 2주차

2024.01.14
Chapter 3. 회귀 알고리즘과 모델 규제 3-1. k-최근접 이웃 회귀 K-최근접 이웃 회귀 예측하려는 샘플에 가장 가까운 샘플 k개를 선택 분류 문제의 경우, 이 샘플들의 클래스를 확인하여 다수의 클래스를 새로운 클래스로 예측함 회귀 문제의 경우, 분류 문제와 마찬가지로 예측하려는 샘플에 가장 가까운 샘플 k개를 선택하여 이를 평균매긴 값으로 선택. 결정 계수 ($R^2$) 회귀 모델에서 모델을 평가하는 방식 $R^2 = 1 - \frac{\sum(target - pred)^2}{\sum(target - mean)^2}$ 각 샘플의 타깃과 예측값의 차리를 제곱하여 더한 후 타깃과 타깃의 평균의 차이를 제곱하여 더한 값으로 나눔. $R^2$는 예측이 타겟에 아주 가까워지면 1에 가까운 값이 되며, ..
강화학습이란? 심층 강화학습에 대한 정의와 종류

강화학습이란? 심층 강화학습에 대한 정의와 종류

2024.01.05
강화학습이란? 순차적인 의사결정 문제를 해결하는 방법. 실제 세계의 많은 문제는 순차적 의사 결정 문제로 표현될 수 있다. 강화학습 문제는 에이전트와 환경으로 구성되는 하나의 시스템으로 표현될 수 있는데ㅡ 환경은 시스템의 상태를 나타내는 정보를 만들어낸다. 이걸 상태(state)라고 부른다. 핵심 개념 상태 : 시스템의 상태를 나타내는 정보 행동 : 에이전트가 상태를 관측하고 그로부터 얻은 정보를 활용하여 행동을 선택함으로써 환경과 상호작용함 보상 : 에이전트의 행동을 통해 다음 상태에 대한 보상값이 에이전트에게 주어짐. 정책 : 에이전트의 행동 생성 함수를 정책이라고 한다. 정책은 상태로부터 행동을 도출하는 함수를 의미함. 목적 : 에이전트가 받는 보상의 총합. 좋은 행동을 선택함으로써 목적을 최대로 ..
[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 1주차

[혼공머신] 혼자 공부하는 머신러닝 & 딥러닝 1주차

2024.01.05
Chapter 1. 나의 첫 머신러닝 머신러닝 : 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 찾아내는 알고리즘을 연구하는 분야 딥러닝 : 인공신경망을 기반으로 한 방법들을 통칭 첫번째 머신러닝 프로그램 : K-Nearest Neighbors 알고리즘으로 도미, 빙어 두 생선을 분류하기 Chapter 2. 데이터 다루기 2-1. 훈련 세트와 테스트 세트 지도학습과 비지도 학습 지도학습 : 데이터와 "정답"이 있는 경우 훈련 세트와 테스트 세트 훈련 세트 : 모델 훈련에 사용되는 데이터 테스트 세트 : 평가에 사용되는 데이터 샘플링편향 훈련 세트와 테스트 세트에 샘플이 골고루 섞여있지 않고 한쪽으로 치우친 경우 2-2. 데이터 전처리 훈련 세트와 테스트 세트로 나누기 사이킷런의 train..
구글 Gemini에 관해 이모저모

구글 Gemini에 관해 이모저모

2023.12.16
최근에 구글에서 나온 새로운 멀티모달 AI가 굉장히 화제이다. (이름이 무려 잼미니!!!) 아래 영상으로 되게 핫해졌는데 (9일전 영상이 무려 2백만회!!) 영상을 보면 되게 신기하다. https://www.youtube.com/watch?v=UIZAiXYceBI&ab_channel=Google 그 이후에 바로 설명하는 블로그가 올라왔다. https://blog.google/technology/ai/google-gemini-ai/?utm_source=tldrai#sundar-note Introducing Gemini: our largest and most capable AI model Gemini is our most capable and general model, built to be multimoda..
spark에서 conda 가상환경 설정하기 & Jupyter에서 conda 가상환경 설정하기

spark에서 conda 가상환경 설정하기 & Jupyter에서 conda 가상환경 설정하기

2023.10.18
왜 클러스터에 conda 가상환경을 설정해야할까? 클러스터는 수많은 컴퓨터들이 하나의 클러스터로 묶여있어 분산 처리를 하고있다. 만약 새로운 패키지 설치 혹은 기존 패키지 업데이트가 필요한 경우 각각의 컴퓨터에 설치하거나 업데이트를 해줘야하기 때문에 번거로운 작업이면서 기존 버전과 충돌이 발생할 가능성이 존재함 따라서, 클러스터에 프로젝트에 필요한 하나의 독립된 환경을 만들 필요가 있음. conda를 통해 특정 버전의 패키지와 의존성을 포함하는 독립적인 환경을 만들 수 있게 해줌. conda 환경 설정 방법 (spark client 모드에서) 1. conda 환경 생성 및 패키지 설치 서비스가 필요한 서버에 conda 가상환경을 생성해준다. conda create -n my_env python=3.7 2..
  • 최신
    • 1
    • 2
    • 3
    • 4
    • ···
    • 19
  • 다음

정보

butter_shower 블로그의 첫 페이지로 이동

butter_shower

  • butter_shower의 첫 페이지로 이동

검색

메뉴

  • All Categories
  • About Me
  • Guest Book

카테고리

  • 전체보기 (223)
    • 💫 주인장 이야기 (17)
    • 🌱 와글와글뻘글 (27)
    • IT Trends (11)
    • 주인장 일상 (0)
    • 📒 내 마음대로 독서 서평 (12)
    • 머신러닝 꿈나무 (30)
      • 기본 개념 (6)
      • Hands-on! (5)
      • Paper Review (5)
      • 캐린이의 Kaggle (1)
    • 알고리즘 Algorithm (33)
      • PS (8)
    • Computer Engineering (75)
      • Python (8)
      • Cloud Computing (9)
      • C (9)
      • C++ (0)
      • Java (6)
      • Django 장고 (4)
      • 임베디드 시스템 (10)
      • 병렬 처리(Parallel Processing) (9)
      • 데이터 통신 Data communication (4)
      • 유닉스 시스템 (Unix System) (3)
      • GitHub (1)
      • 마이크로 프로세서 (micro processor) (1)
      • 데이터 마이닝 (1)
    • Error Note 🚨 (3)
    • 영어 공부 (6)
      • Live Academy (6)
    • HOBBY (2)
      • Film Log (2)

최근 글

정보

_rian의 butter_shower

butter_shower

_rian

나의 외부 링크

  • Github
  • Facebook
  • Instagram
  • LinkedIn
  • Twitter

블로그 구독하기

  • 구독하기
  • RSS 피드

방문자

  • 전체 방문자
  • 오늘
  • 어제

티스토리

  • 티스토리 홈
  • 이 블로그 관리하기
  • 글쓰기
Powered by Tistory / AXZ. © _rian. Designed by Fraccino.

티스토리툴바