개발인가 메모장인가

TOKENIZER란 무엇인가? 자연어처리(NLP)를 하면서 많이 듣게 되는 용어 중 하나가 바로 '토큰화'이다. 딥러닝에 자연어처리를 하기 위해서는 우선 언어 RAWDATA 즉 CORPUS(코퍼스)를 데이터에 사용하고자 하는 용도에 맞게 토큰화, 정제, 정규화하는 작업을 거치게 된다. 여기서 토큰화란 토큰(token : 의미있는 단위)을 쪼개는 과정이다. 보통 영어에서는 NLTK 패키지를 이용하면 쉽게 사용할 수 있다. 그러나 문제점은 한국말 데이터를 이용하는 경우이다. 한국어의 경우 일반적으로 영어보다 토큰화하기 어렵다. 그 이유는 링크를 따라가면 확인할 수 있다. 한국어 토큰화할 때는 주로 KoNLPY를 사용해야하는데 이 KoNLPY가 jdk도 설치해야하고, 여러모로 까다로운 점이 많다. 그런데 이번..

RED HAT이란? 레드햇(redhat)이란 1993년 미국에서 설립된 기업으로, 기업용 오픈 소스 기술을 개발하는 기업이다. 대표 제품이 '레드햇 엔터프라이즈 리눅스'이다. 즉 오픈소스(linux)라는 것이다. 오픈소스 특성상 기술검증, 안정성, 보안 등에 취약하다. 따라서 이러한 red hat은 이러한 취약점을 해결하는데 주력하고, 별도의 교육 프로그램을 운영하여 오픈소스 기술의 전문성을 높일 수 있도록 지원하고 있다. RED HAT이 왜 IBM에서 나와? 그런데 이러한 LINUX 개발 회사 RED HAT이 뜬금없이 IBM에 나오는 이유는 IBM이 2018년도에 레드햇을 340억(약 38조 8300억원)에 인수했기 때문이다. 알뷘드 크리쉬나 IBM 하이브리드 클라우드 부문 수석 부사장은 이번 인수합병..

CLOUD에 대해 알아보자! CLOUD란 자료 및 소프트웨어를 서버에 올려놓고 언제 어디서든 접속하여 사용할 수 있는 것을 의미한다. CLOUD에는 그 성질에 따라 IaaS, SaaS, PaaS로 구분된다. 최근 이러한 cloud의 부상에 따라 관련 컨설팅, 보안 등의 업무 중요성 또한 커지는 상황이다. cloud를 제공하는 벤더사로는 AWS, AZURE, GOOGLE 등 다양한데 이번에는 IBM CLOUD에 대해 알아보고자 한다. IBM CLOUD 계정 유형 IBM CLOUD역시 GOOGLE이나, AWS와 같이 계정을 등록해야 이용가능하고, 또한 무료 체험판을 제공한다. 근데 여기서 독특한 점은 보통 벤더사에서는 카드등록 이 필수인데, IBM은 카드 등록이 필요하지 않은 계정이 존재하는 경우도 있다는 ..

해당 글의 내용은 IBM CLOUDER:S 활동의 일환으로 COGNITIVE CLASS에서 제공하는 내용을 바탕으로 작성되었습니다. 학습 목표 1. IBM CLOUD의 PaaS서비스 이해하기 2. kubernetes란 무엇이고, container란 무엇인가? 3. open shift란 무엇인가? 4. cloud foundry와 cloud functions이해 * container & kubernetes Kubernetes Kubernetes is an open-source container orchestration project. Containers provide process isolation. Containers are fundamental to creating cloud-native microser..

해당 글의 내용은 IBM CLOUDER:S 활동의 일환으로 COGNITIVE CLASS에서 제공하는 내용을 바탕으로 작성되었습니다. 학습 목표 1. IBM CLOUD가 제공하는 다양한 서비스 모델 이해 2. 그래픽 인터페이스, cmd, api를 활용한 ibm cloud 액세스 방법 3. 상황에 따른 적절한 IBM CLOUD 제품 또는 서비스 알기 하이브리드 클라우드 Hybrid cloud란? where a business wants to leverage their own data centre resources, both traditional infrastructure and private cloud, as well as a public cloud Multi-cloud란? 기업이 IT를 퍼블릭 및 프라이빗..

http://15.164.234.237/exhibits/show/publicpledge/publicpledge https://linktr.ee/kmuarchives @kmuarchives Linktree. Make your link do more. linktr.ee 언택트 시대의 온택트 전시회! ( ˇ͈ᵕˇ͈ ) ¨̮♡⃛ 위 글에서 확인하고 이벤트 참여하세용~ㅎㅎㅎ

한~참 전 지인이 IBM C:LOUDERs를 소개해 주었다. 어차피 cloud를 배우고 있는 입장에서 이러한 대외활동을 해도 괜찮지 않을까 하는 생각에 지원하였다. 그런데 한참 까먹고 있었는데 갑자기 날아온 email!! ㅎㅎㅎㅎㅎㅎㅎ 합격했다!! 사실 진짜 까먹고 있었는데 나는 역시 운이 참 좋다ㅎㅎ 그래서 본격적으로 킥오프를 수행했는데 하면서 느꼈던 것들과 IBM C:LOUDERS로서 어떻게 C:LOUDERs에 지원하였고, 첫 온보딩하면서 느낀 점 등을 정리해보고자 한다. 1. 지원방법 지원 방법은 사실 위 링크에 가면 자세히 설명되어 있긴 하다. ☞ 지원방법 ① 지원서를 작성해 제출한다 ② 무료로 제공되는 Introduction to Cloud 코스를 수강한다 ③ 수강을 완료하면 받을 수 있는 IB..

나이브 베이즈 분류 알고리즘 베이즈 사전확률가 사후확률 사이의 관계를 나타내는 정리 귀납적 경험적인 추론을 사용한다 매개변수 x,y가 있을 때 p1(x,y) p2(x,y)일 때로 한다 확률 p1이 p2에 나올 값보다 클 때 분류 1에 속한다고 정리한다 이것을 베이즈 정리 라고 한다. 확률이 더 큰 쪽이 나타내고자 하는 분류별 확률로 측정한다. 선형모델과 배우 유사. 로지스틱 회귀나 선형 SVC보다 훈련 속도가 빠르다. 텍스트 분류에 사용된다(스팸, 스포츠, 정치) EX ) 이메일 분류 이메일에 들어가 있는 단어들 매개변수에 대해서 해당 이메일이 스팸일 확률과 스팸이 아닐 확률에 대한 분류 공식을 하나 알고 있어야 한다. 조건부 확률 모델(공식)도 알고있으면 좋다. 문제 ) 남학생인확률 P(A)와 키가 1..

Tensorflow 정의 : google에서 개발하고 공개한 머신러닝/딥러닝 라이브러리 별명 : google에서 무료로 풀어놓은 괴물 (크앙) Tensor란 무엇인가? 데이터를 위한 컨테이너(container) 임의의 차원 갯수를 가지는 행렬의 일반화된 모습 텐서에서는 차원(dimension)을 종종 축(axis)라고 부른다. 텐서의 축 개수를 rank라고도 부른다. 종류 차원 개념 Scalar 0D rank 0 tensor 하나의 숫자 Vector 1D rank 1 tensor 1차원 배열, 연속적인 숫자들의 집합 = 숫자들의 배열 Matirx 2D rank 2 tensor 2차원 배열, 행렬 형태의 숫자들의 집합 = 벡터의 배열 Tensor 3D rank 3 tensor 3차원 배열 = 행렬의 배열 ..

해당 게시글은 안드레이스 뭘러의 [Introduction to machine learning with python]을 정리한 내용입니다. 2. 지도학습 (2) 선형 회귀 [ 선형모델 ] 정의 : 입력 특성(x)에 대한 선형함수를 만들어 예측을 수행 예측 함수 : y = Wx + b => 단순 y=W1x1+W2x2+...Wnxn+b => 다중 w : 기울기 파라미터 가중치 또는 계수라고도 한다 LinearRegression().fit()한 값의 coef__로 알 수 있다. => 실수값 하나만 출력 편향, 절편(b)는 LinearRegression의 intercept에 있다. => numpy 배열로 출력 회귀 선형회귀(최소제곱법) LinearRegression( ) - 가장 간단하고 오래된 회귀용 선형 알고..