NCUC PANGYO MEET-UP - 20240423

 

 

안녕하세요 늑대양 입니다

 

늑대양 by DALL-E

 

 

지난 밤 참석했었던 NCUC(Naver Cloud User Community) 판교 소모임 밋업 관련 내용을 정리하여 전달드립니다.

 

NCUC 밋업은 처음 참석하여 궁금했었는데, 따스한 분위기와 훌륭한 세션을 들을 수 있었던 좋은 자리였습니다.

 

특히 HyperCLOVA 와 관련된 세션은 굉장히 굉장히 흥미로웠습니다.

 

아래의 내용은 세션 중 메모한 사항입니다.

 

NAVER CLOUD 에 관심이 있으신 분들에게 도움이 되었으면 하는 바램이 있습니다.

 

감사합니다 🙏

 

 

---

 

제 2회 네이버 클라우드 판교 소모임

 

 

세부 정보

• 안녕하세요. NCUC 판교 소모임에 오신 걸 환경합니다.
• NCUC 판교 소모임은 네이버클라우드 사용자들간 사용 경험을 나누기 위한 모임입니다.
• 본 모임에서는 개인의 운영, 기술, IT 철학 등을 포함하고 또한, 네이버 클라우드에 관련된 모든 사항의 공유하며 성장하는 소모임을 지향합니다.

 

일시 및 장소:

• 2024년 4월 23일 화요일 19:00 ~ 21:00
• 판교테크원 HALL #2 (경기 성남시 분당구 분당내곡로 131)

 

발표자:

• "HyperCLOVA X in Application" - 서현석님
• "Keycloak으로 세팅해보는 1계정 3쿠버" - 이수진님
• 행사 사정에 따라 발표 주제는 변경될 수 있습니다.

 

준비 사항:

• 네이버 클라우드에 대한 흥미
• 카카오 오픈 채팅 참여 - 네이버 클라우드 플랫폼 유저 커뮤니티 - NCUC(https://open.kakao.com/o/gRNIEFOc)
• NCUC 페이스북 참여 - NCUC - NAVER Cloud User Community(https://www.facebook.com/groups/ncpusergroup)

 

---

Agenda:

• Greeting
• Keycloak으로 세팅해보는 1계정 3쿠버 - 이수진 님
• 커뮤니케이션 및 쉬는 시간
• HyperCLOVA X in Application - 서현석 님
• 커뮤니케이션 및 쉬는 시간

 

호스트:

• 윤서율 님
• 이수진 님

 

---

Keycloak으로 세팅해보는 1계정 3쿠버

• 이수진 님 - 메가존소프트
• 네이버클라우드 컨텐츠 마스터

 

Keycloak?

https://www.keycloak.org/

Keycloak

• CNCF 졸업 수준의 인큐베이팅 프로젝트
• IDP 관리 오픈소스
  • Open Source Identity and Access Management
• 표준 보안 프로토콜을 준수하는 오픈소스
  • OIDC
  • OAUTH2
  • SAML
• 키클록의 기능
  • SSO
  • Federation
    • LDAP
    • AD
    • RDB
  • 통합 인증
    • Verify email
    • 사용자 확인관련 설정

 

OIDC 요약:

• 인증:
  • Authentication
  • 누구세요?
• 인가:
  • Authorization
  • 그래서 뭐 하세요?

 

1계정 1쿠버: GKE (GCP)

• Sign in to your account
• Verify email 발송
• Email 수신
• 링크 클릭
• Keycloak 관리 페이지에 사용자 계정 등록
• 그 이후 GKE를 CLI로 접근하여 관련 리소스 생성 가능
• 콘솔에서 관련 내용 확인 가능

 

1계정 2쿠버: NKS (NCP)

• 다운로드 받은 메타데이터(xml) 파일 import
• ncloud 관련 clients 설정 및 client scopes 설정 확인
• Login URL - NKS 프로파일 브라우저 전용
  • sso.ncloud ——- /saml/login
• SSO 역할 전환 (사용자에게 선택지를 줌)
  • 콘솔 접근 → 관련 permission 설정된 것들을 사용 가능 → 예를 들어 NKS 만 한정 지을 수 있음
  • API 접근
• NKS 의 경우, 콘솔과 CLI 모두 사용 가능

 

1계정 3쿠버: EKS (AWS)

• CLI 를 통해 초기 설정 진행 가능(yaml)
• oidc 사용자에게 권한 있는 그룹 할당 → 토큰 값 확인 가능 → EKS 클러스터 접근 가능

 

1계정 n쿠버?: ACK (Alibaba Cloud)

• 클러스터 생성을 위해서는 실명 인증 필요
• 여권 사본 업로드 필요..

 

 

---

HyperCLOVA X in Application

• 서현석 님 - 코난테크놀로지 - AI Software Engineer
• 네이버클라우드 Junior Master - 기술 콘텐츠 리더

 

장점:

• 한국어를 잘 이해함

 

용어정리

• LLM, Naver’s LLM, HCX(Hyper Clova X)
  • Large Language Model
• Prompt
  • AI 모델에게 특정 질문에 대한 답을 의도하기 위해 작성하는 과정
• CLOVA X vs CLOVA Studio
  • B2C 서비스 vs NAVER CLOUD 서비스(B2B 서비스)
• CLOVA Studio vs CLOVA Chatbot
  • NAVER CLOUD 서비스
  • Chatbot - 규칙 기반, 룰 베이스 → FAQ 등 간단한 내용
  • Stuido - 학습형 챗봇에 사용 → 범용성 있고 생산성 빠른 챗봇에 적당함

 

---

CLOVA Studio

https://www.ncloud.com/product/aiService/clovaStudio

NAVER CLOUD PLATFORM

• 서비스 소개 페이지 링크

 

콘솔 로그인 화면

 

 

 

https://guide.ncloud-docs.com/docs/clovastudio-overview

CLOVA Studio 개요

• 사용자 가이드 링크

 

 

플레이그라운드 탭

• 엔진 선택 가능(HCX-003, 최신 엔진)
• 메뉴에 대해서는 마우스오버 하여 내용 확인 가능
• 맥시멈 토큰:
  • 결과값을 생성하는 문장 길이
  • 길이가 길 수록 긴 답변 생성 가능
  • 토큰이 많을 수록 과금이 비싸지므로 주의깊게 설정 필요
• 시스템 지시문
  • 모델 답변 결과를 가공 가능
  • 페르소나를 입히거나 모델의 성격, 말투 등의 교정 가능
• 사용자 메시지
  • 간단한 내용에 대해서는 실행 가능

 

튜닝 탭

 

• 모델 학습 공간
• 튜닝 API 를 활용하여 HYPER CLOVA X 튜닝 가능
• 스키마 들도 확인 가능
• 데이터셋 규격이 나와 있음
  • C_ID
  • T_ID
  • Text
  • Completion

 

익스플로러 탭

• 모델을 좀 더 다양하게 사용할 수 있도록 도와주는 플러그인, SDK
• 토큰 계산기
  • 모델을 사용하면 과금을 토큰 수 로 책정
  • 문장이 있으면 어절에 대해 잘라 할당되는 토큰에 대한 요금총량 확인 가능
• 데이터 샘플도 확인 가능

 

스킬 트레이너 탭

• 외부 API 연동하여 모델의 답변으로 사용 가능
• 생성형 AI 의 단점인 할루시네이션 현상을 완화하기 위해 해당 내용 제공
• 모델이 학습한 내용이 과거의 데이터지만 해당 탭을 활용하여 비교적 최근의 데이터를 부어줄 수 있음
• 각 API에 맞게 정보들을 맞춰서 답변 제공 가능

 

포럼 탭

• CLOVA Studio의 최근 릴리즈 및 이용문의 에 대한 것이 가능

 

---

CLOVA X

• Like ChatGPT 한 네이버클라우드 서비스
• ex. 전하 통촉하여 주시옵소서
  • → 전하께옵서 통촉하여 주십사 하는 것이 무엇인지요?
  • → 저는 전하의 신하가 되어 성심껏 돕겠습니다
• 앱으로 만들 정도의 퀄리티를 유지하기 위해서는 시스템 지시문 입력 필요
  • 당신은 조선의 왕입니다.
    • 전하 통촉하여 주시옵소서
      • → 경들은 들으라, 과인이 나라를 다스리며 부족한 점이 있다면 언제든지 의견을 내어주시오
      • → 함께 이 나라를 살기 좋은 곳으로 만들어 봅시다.

 

HyperCLOVA X API

• API
  • data
  • messages
  • role
  • content
  • role
  • content
  • topP
  • topK
  • 등등

 

HyperCLOVA X Application - 크리스마스 카드 만들기

크리스마스 카드 만들기 서비스 예시

 

 

카드 만들기 결과 예시

 

 

• 다양한 페르소나 예시 적용 가능
  • 내용은 유지하되 말투를 사랑스럽고 애교 많은 연인 또는 동생느낌으로 바꿔줘
  • 그리고 너는 상황에 따라 여자 또는 남자가 될 수 있으니까 오빠, 형, 누나 같은 말은 적지마
  • 내용은 100자 이상 130자 이하로 늘여써줘
  • 만약 너무 길거 같으면 문장이 어색하지 않도록 적당히 끊어줘야해
  • 그리고 반말로 만들어줘
  • 이모티콘도 적절히 사용하면 좋겠다

 

HyperCLOVA X in CloudFunctions

API Pipeline

 

 

구현 코드 예시

 

 

Cloud Functions 활용 장점

Code Functions 활용 장점

 

• 로깅이 되는 것이 큰 장점 중하나
• 콘솔 CLOVA Studio → My Product 에서 대시보드 확인 가능
• 대시보드 내 에서 프롬프트 결과값 등, 월별, 시간별 등은 확인이 어려운 부분이 있음

 

 

Cloud Functions을 활용하면 실행 수, 실행 시간 등을 확인 가능

 

 

페르소나 등을 적용 가능

 

---

 

오늘은 비가 왔다가 날씨가 맑았다가 흐렸다가.. 조금은 어지러운 하루네요.

 

환절기에 감기 조심하시고 건강하게 보내셨으면 좋겠습니다.

 

추가적으로 따뜻하고 볼거리 많은 NCUC 도 빠르게 완숙한 밋업으로 성장하면 좋을 것 같습니다.

 

긴 글 읽어주셔서 감사드립니다 😍