I can do it!!

He can do! She can do! why cannot me? i can do it!

개발 53

[naive bayes classification]

나이브 베이즈 분류 알고리즘 베이즈 사전확률가 사후확률 사이의 관계를 나타내는 정리 귀납적 경험적인 추론을 사용한다 매개변수 x,y가 있을 때 p1(x,y) p2(x,y)일 때로 한다 확률 p1이 p2에 나올 값보다 클 때 분류 1에 속한다고 정리한다 이것을 베이즈 정리 라고 한다. 확률이 더 큰 쪽이 나타내고자 하는 분류별 확률로 측정한다. 선형모델과 배우 유사. 로지스틱 회귀나 선형 SVC보다 훈련 속도가 빠르다. 텍스트 분류에 사용된다(스팸, 스포츠, 정치) EX ) 이메일 분류 이메일에 들어가 있는 단어들 매개변수에 대해서 해당 이메일이 스팸일 확률과 스팸이 아닐 확률에 대한 분류 공식을 하나 알고 있어야 한다. 조건부 확률 모델(공식)도 알고있으면 좋다. 문제 ) 남학생인확률 P(A)와 키가 1..

[Keras & Tensorfow] 개념

Tensorflow 정의 : google에서 개발하고 공개한 머신러닝/딥러닝 라이브러리 별명 : google에서 무료로 풀어놓은 괴물 (크앙) Tensor란 무엇인가? 데이터를 위한 컨테이너(container) 임의의 차원 갯수를 가지는 행렬의 일반화된 모습 텐서에서는 차원(dimension)을 종종 축(axis)라고 부른다. 텐서의 축 개수를 rank라고도 부른다. 종류 차원 개념 Scalar 0D rank 0 tensor 하나의 숫자 Vector 1D rank 1 tensor 1차원 배열, 연속적인 숫자들의 집합 = 숫자들의 배열 Matirx 2D rank 2 tensor 2차원 배열, 행렬 형태의 숫자들의 집합 = 벡터의 배열 Tensor 3D rank 3 tensor 3차원 배열 = 행렬의 배열 ..

[파이썬 라이브러리를 활용한 머신러닝 #3]

해당 게시글은 안드레이스 뭘러의 [Introduction to machine learning with python]을 정리한 내용입니다. 2. 지도학습 (2) 선형 회귀 [ 선형모델 ] 정의 : 입력 특성(x)에 대한 선형함수를 만들어 예측을 수행 예측 함수 : y = Wx + b => 단순 y=W1x1+W2x2+...Wnxn+b => 다중 w : 기울기 파라미터 가중치 또는 계수라고도 한다 LinearRegression().fit()한 값의 coef__로 알 수 있다. => 실수값 하나만 출력 편향, 절편(b)는 LinearRegression의 intercept에 있다. => numpy 배열로 출력 회귀 선형회귀(최소제곱법) LinearRegression( ) - 가장 간단하고 오래된 회귀용 선형 알고..

[파이썬 라이브러리를 활용한 머신러닝 #2]

해당 게시글은 안드레이스 뭘러의 [Introduction to machine learning with python]을 정리한 내용입니다. 2. 지도학습 이 장에서는 지도학습의 유형과, 주의점 그리고 알고리즘에 대해 소개합니다. 분류와 회귀 분류(classification) 회귀(regression) 이진분류(binary) : 예/아니오만 나올 수 있음 다중분류(multiclass) : 붓꽃 데이터와 같이 셋 이상의 클래스 연속적인 숫자(부동소수점수)를 예측하는 것 = 입력 값에 대한 값이 연속적이지 않고 분류되는 결과 = 결과값이 연속성을 가지고 있는 문제 구분 tip! = 출력값에 연속성이 있는가? - 퍼셉트론 - 로지스틱 회귀 - SVM - 신경망 - K-최근접 이웃 - 결정트리 - 랜덤 포레스트 -..

[파이썬 라이브러리를 활용한 머신러닝 #1]

해당 게시글은 안드레이스 뭘러의 [Introduction to machine learning with python]을 정리한 내용입니다. 1. 소개 이 장에서는 왜 머신러닝이 등장하고, 머신러닝의 종류와 필수 라이브러리, 붓꽃 품종 분류를 통한 scikit-learn이해에 대한 내용을 담고 있다. 지도학습(교사학습) 비지도학습(비교사학습) 강화학습 이미 알려진 사례를 바탕으로 일반화된 모델을 만들어 의사결정 프로세스를 자동화하는 것 (입력과 출력 有) 알고리즘에 입력은 주어지지만 출력은 제공되지 않는다. 어떤 임의의 존재 (Agent) 가 주어진 환경 내에서 어떻게 행동해야 하는지에 대해 학습하는 것 ex) 1. 편지봉투에 손으로 쓴 우편번호 숫자 판별 2. 의료 영상 이미지에 기반한 종양 판단 3. 의..

[plotly] 예쁘고 유용한 데이터 시각화

해당 내용은 plotly.py 4.0 출시와 관련된 공식문서를 번역 및 활용하여 작성되었습니다. 최근 공모전이나, 모듈 프로젝트를 진행하면서 데이터 시각화를 해야하는 경우가 많았다. 근데 솔직히... matplotlib를 그대로 사이트에 쓰기에는 너무 안이뻐서ㅠㅠㅠ 추가로 chart.js, D3js 등을 이용해 추가작업을 해야했다. 근데 사실 데이터 분석 다 하고, 이걸 또 d3js같은 이쁜 데이터로 다시 만들면...너무 귀찮은 것이다ㅠㅠㅠㅠ 그래서 세련되고, 이쁜 시각화 그래프를 소개할까 한다. plotly plotly는 반응형, 오픈소스 그리고 브라우저 기반 시각화 라이브러리이다. 30개 종류의 차트를 가지고 있고, 3D그래프도 지원한다. 그래서 Chartjs 만큼 이쁘게 시각화 그래프를 그려주곤 한..

개발/기타 2020.09.12

[MNF 비지도학습] SK infosec 클라우드 AI전문가 양성과정 실습파일

그동안 html로 코드를 바로 보여주는 형식으로 실습한 내용을 올렸었다. 그러나 html이 너무 길어서 그런지 자꾸 렉이 먹어서ㅠㅠㅠ오늘은 그냥 이렇게 올리려고 한다. * 근데 스어글 그냥 네이버 블로그에 내버려 두기 좀 그래서 걍 내용만 복붙한건데 왜 꾸준한 유입이 있징....? 모루겄넹 (긁작)

[PYTHON 머신러닝]SK infosec 클라우드 AI 전문가 양성과정 수업필기본

NMF 비지도학습 중 비음수 행렬 분해 비음수행렬분해(NMF) 정의 및 설명 음수가 아닌 값만 가지고 특성을 추출하는 것이다 차원축소를 하는 것이다. 빠르게 데이터를 수집하고 학습할 수 있다 그러나 데이터 손실을 가져올 수밖에 없다. 음수는 과감하게 버리고, 양수만 가지고 분석한다 계수는 특징으로 생각하면 된다 문서분류, 여러 사람의 목소리가 담긴 오디오 트랙의 소스에서 원래 소리가 어떻게 되었는지 파악 행렬 인수분해 알고리즘을 사용한다 열의 개수와 두번째 참여하고 있는 항의 행의 갯수를 곱한다 이를 역으로 인수분해해서 이러한 행렬이 어떻게 형성되었는지 확인하는 방법이다 최종적으로 이전 데이터가 어떻게 되었는지 확인하려면 조합이 무엇이고, 이게 맞는지 확인해야한다 양수의 데이터만 적용할 것이고, 얼굴 데..

[CNN&비지도학습]SK infosec 클라우드 AI 전문가 양성과정 실습

In [1]: %matplotlib inline import mglearn In C:\Users\ka030\Anaconda3\lib\site-packages\matplotlib\mpl-data\stylelib\_classic_test.mplstyle: The text.latex.preview rcparam was deprecated in Matplotlib 3.3 and will be removed two minor releases later. In C:\Users\ka030\Anaconda3\lib\site-packages\matplotlib\mpl-data\stylelib\_classic_test.mplstyle: The mathtext.fallback_to_cm rcparam was deprecat..

[CNN&비지도학습]SK infosec 클라우드 AI 전문가 양성과정 수업필기본

cnn 실습 복습 chainer : python으로 작성된 오픈 소스 딥 러닝 프레임워크 scipy는 머신러닝. 딥러닝의 경우 오픈소스인 chainer, tensorflow, pythorch등을 사용하면 됩니다. 1번째 합성곱의 역할 edge or blob 등 저수준의 정보 추출 이미지를 한꺼번에 받아들이려고 한다. 전체 이미지를 해석하게 된다. 그런데 cnn을 통해 이미지를 받아들이기 위해서는 첫번째에 edge를 인식하고, 두번째에 texture을 추출하고, 마지막에 특징을 추출한다. 각 단계별로 작업하면 이미지의 특징을 추출할 수 있고 여기서 filtering된 결과를 확인할 수 있다. im2col이라는 함수 cnn을 직접 구현할때 기능에 맞춰서 외부라이브러리를 가져다 쓰거나 해야한다 왜냐하면 정육면..