[Megabyte School : AI 데이터 사이언티스트 취업 완성 과정] Day 24.

 

 

 

안녕하세요 늑대양입니다 :)

 

 

오늘은 현직자 특강이 진행되는 날입니다!

 

 

오늘은 [AI 데이터 사이언티스트 취업 완성 과정]의 24일차 일과를 정리하여 안내해드리도록 하겠습니다.

 

 

 

 

 

 

 

Day 24 시간표:

• 현직자 특강
• 랜덤 조별 회고
• SQL & git 복습
• 선택학습

 

현직자 특강

딥러닝 엔지니어: 누구나 될 수 있고, 누구나 될 순 없다

소개

• 이종*님
• 일본 JAIST 정보과학 석사
• CV 딥러닝 엔지니어
• Gheli* 에서 B2B 인공지능 솔루션 개발 중
• Must Have 텐초의 파이토치 딥러닝 특강 저자
• 유튜브 운영중: 텐초

 

 

도서 관련 URL: http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791191905212&orderClick=LAG&Kc= 

Must Have 텐초의 파이토치 딥러닝 특강 - 교보문고

 

 

 

Index

1. 딥러닝 솔루션이 완성되기까지 | 솔루션 개발의 흐름
2. 엔지니어로써 길러야 할 능력 | 현 시대를 살아남기 위한 스킬 셋
3. 개발은 혼자하지 않는다 | 커뮤니케이션 능력 기르기
4. 비전공자도 쓸 수 있는 꿀팁 | 내 시간을 매우 아껴줄 꿀팁 대방출

 

 

제품 개발 단계

1. 제안 단계
2. PoC 단계
3. 프로토타입 제작 단계
4. 제품 출시 단계

 

솔루션 개발 흐름도

1. 문제 정의
2. 데이터 수집
3. 데이터 분석
4. 솔루션 개발

 

 

딥러닝 솔루션이 완성되기까지  |  솔루션 개발의 흐름

파트별 작업량과 필요 지식 수준

작업량과 필요 지식 수준

 

 

데이터 수집 및 가공

데이터 수집:

• 학습에 사용할 데이터를 수집
• 최대한 다양하고 균일하게 수집

데이터 라벨 붙이기:

• 알고리즘이 학습해야할 정답 라벨 부착

 

 

데이터 분석

데이터 클렌징:

• 불필요한 데이터, 혹은 학습에 악영향을 미치는 데이터 제거

EDA:

• 데이터를 직관적으로 이해하는 단계
• 통계량을 사용하거나 시각화 시킬 수 있음
• 딥러닝 솔루션에는 크게 없음
• 추천 시스템 등의 빅데이터 관련에서 많이 사용

피쳐 엔지니어링:

• 데이터로부터 직접적으로 얻을 수 없는 특징을 데이터에 추가하는 과정

 

솔루션 설계

이미지 처리:

• 자동주차, 차량 번호판 인식 등 이미지를 이용한 알고리즘 개발

자연어 처리:

• 챗봇, 번역기 등 텍스트를 이용한 알고리즘 개발

강화 학습:

• 게임의 버그를 찾아내거나 드론의 자세를 제어하는 등 강화학습을 이용한 알고리즘 개발

 

핵심 알고리즘 개발

최신 기술을 도입할 수 있는 기술력:

• 해결하고자 하는 문제에 최신기술의 도입 고려
• 발생할 수 있는 리스크 고려

 

 

엔지니어로써 길러야 할 능력  |  현 시대를 살아남기 위한 스킬셋

공부할 수록 뒤쳐진다?

• 토끼와 거북이 예시
• 현실의 토끼는 절대 기다려주지 않음

 

빠르게만 하면 된다?

달리기 전에 반드시 기반을 다질 것!

 

 

이론 공부는 어떻게?

• 고수들의 말을 곧이 곧대로 듣지 마시오!
• 공부방법은 사람, 목적, 상황에 맞춰야함
• 고수의 말이 무조건 정답은 아님!!

 

코딩 공부는 어떻게?

스스로 만들기 보다는 만들어진 것을 활용하자

 

 

 

개발은 혼자 하지 않는다  |  커뮤니케이션 능력 기르기

어떤 종류의 소통이 있을까

비전공자와의 소통:

• 비전공자는 엔지니어링 지식이 부족
• 비전공자와 대화할 때는 상대의 지식 수준에 맞춰 이야기할 것
• 상대의 지식 수준에 맞춰 대화하는 습관을 기르도록 하자!

엔지니어 간의 소통:

• 전달하고자 하는 바를 명확히!
• 문장을 짧고 간결하게 전달하고자 하는 바를 명확하게 이야기할 것
• 반드시 알아야할 정보만을 간결하게 전달!

좋은 질문을 하는 방법:

• 자신이 무엇을 모르고 있는지 확인
• 질문에 대답하기 위해서 무엇을 모르는지 상대에게 전달
• 자신이 처한 상황과 알고자 하는 것을 명확하게 전달 필요!!
• 내가 처한 상황 + 내가 직면한 문제 + 해결하기 위해 참고한 자료 + 내가 생각한 해결책

 

 

비전공자도 쓸 수 있는 꿀팁  |  내 시간을 매우 아껴줄 꿀팁 대방출

모든 것을 이해하려 하지말 것 (이해는 필요할 때만 하자!)

• 설계 팁: 모델의 구조가 복잡하고 이해가 안될 땐, 입출력 관계만 확인하고 패스! (나중에 다시 돌아오자)
• 코드 리딩 팁: 코드는 처음부터 다 읽는 것이 아니라 전체적인 맥락을 파악하고 필요에 따라 깊이 읽어 나가자!
• 멘탈 관리 팁: 자신의 성장이 의심스러울 땐, 과거의 행적을 되돌아 보자!

 

 

 

 

SQL 복습.

온라인 패키지: 가장 쉽게 시작하는 데이터 분석, SQL 유치원

• 유예* 강사님
• 송형* 강사님

 

 

Day 01. 오리엔테이션

01. 강사와 강의 소개

유예* 강사님

• 현)University of Michigan - Applied Data Science 석사 과정
• 현)대기업 S사 근무 중
• 전)대기업 S사 인턴 근무
• 전)스타트업 M사 인턴 근무
• 연세대학교 컴퓨터과학과 학사 (복수전공)
• 국가공인 데이터 개발자 자격증 보유 (SQLD)

 

SQL 유치원: SQL 공부의 첫 시작을 위한 왕초보! 왕기초! 입문자용 강의

• Step 1. 어렵지 않은 개념 설명
• Step 2. 친절한 예제
• Step 3. 재미있는 실습

 

 

02. 데이터, 데이터베이스  그리고 DBMS

데이터:

1. 이론을 세우는 데 기초가 되는 사실. 또는 바탕이 되는 자료
2. 관찰이나 실험, 조사로 얻은 사실이나 정보.
3. 컴퓨터가 처리할 수 있는 문자, 숫자, 소리, 그림 따위의 형태로 된 정보.

데이터베이스:

• 데이터 저장소
• 여러 사람이 공유하고 사용할 목적으로 통합 관리되는 데이터 저장소
• 자료를 구조화하여 저장하기 때문에, 효율적인 관리가 가능
• 여러 업무에 여러 사용자가 동시에 사용 가능
• 사용자가 데이터베이스의 기능을 사용하기 위해서는 응용 프로그램(DBMS)을 활용

DBMS의 종류:

• Oracle
• MySQL
• Microsoft SQL Server
• MariaDB
• 등등

 

03. 데이터 베이스 언어와 SQL

SQL:

• Structured Query Language의 약자
• 데이터베이스와 대화하기 위해 사용하는 언어
• 데이터베이스와 대화하기 위해 사용하는 약속의 언어
• 쿼리: SQL로 쓰인 데이터베이스에 명령을 내리는 문장

 

 

SQL을 활용한 데이터베이스와의 대화:

사용자와 데이터베이스 간 '대화'의 예시

 

SELECT *
FROM employee
WHERE gender = "M";

 

 

 

04. MySQL, MySQL Workbench 설치 및 구성 (Windows)

MySQL 공식 홈페이지 설치 링크 URL: https://www.mysql.com/downloads/

MySQL :: MySQL Downloads

 

 

 

 

05. MySQL, MySQL Workbench 설치 및 구성 (Mac)

MySQL 공식 홈페이지 설치 링크 URL: https://www.mysql.com/downloads/

MySQL :: MySQL Downloads

 

• 강의에서는 x86 기반으로 설치 진행 (AWS 기반으로 실습 진행 예정, 혹은 도커 컨테이너로 진행 예정)
• MySQL Workbench 설치도 진행
• 실습을 위해, brew를 활용하여 설치

 

 

06. MySQL Workbench 사용법

# 모든 데이터베이스 목록 보기
SHOW DATABASES;

# 데이터베이스 만들기
CREATE DATABASE sainthm;

# 사용할 데이터베이스 지정하기
USE sainthm;

# 테이블 만들기
CREATE TABLE mytable (
        col1 INT,
        col2 CHAR(2)
);

# 테이블에 데이터 삽입하기
INSERT INTO mytable (col1, col2)
VALUES (1, "a"), (2, "b"), (3, "c"), (4, "d"), (%, "e");

# 모든 데이터 가져오기
SELECT * FROM mytable;

 

 

쿼리 실행 결과

 

 

생성된 데이터베이스와 테이블, 컬럼 확인 가능!

 

 

 

 

 

 

 

 

긴 글 읽어주셔서 감사합니다 :)