MLops

패스트캠퍼스 챌린지 36일차

Laftel 2022. 2. 28. 13:04
반응형

Feast Feature Store 를 생성하여 각 Feature 들을 정의하여 Store 에 배포하기

  • feature store 작업을 할 경로로 이동
  • mkdir -p mlops/feature_store && cd mlops/feature_store
  • Jupyter Lab Docker Container 실행
  • docker run -d --name jupyter -p 8888:8888 -e JUPYTER_TOKEN='password' \\ -v "$PWD":/home/jovyan/jupyter --user root --restart=always \\ -it jupyter/base-notebook start.sh jupyter lab
  • localhost:8888 접속
  • jupyter 폴더에서 새 노트북 파일 생성
  • Store 생성과 배포
    • Feast 설치하기
      • pip install ... -U : 지정된 모든 패키지를 최신으로 업그레이드
      • pip install ... -q : 출력 최소화
      • Pygments : 코드 강조 기능
    • %%sh pip install feast -U -q pip install Pygments -q
    • Runtime 재시작
    • Feast 저장소 초기화
    • !feast init feature_repo
    • 생성된 Feature 저장소 확인
      • 각 폴더/파일 확인
      !pygmentize -f terminal16m example.py
      
      • data : Feast 에서 제공하는 데모 데이터 (parquet 형식)
      • example.py : 데모 데이터의 Feature 정의
    • %cd feature_repo !ls -R
    •  

  • Feature View 내 다른 데이터 원천 사용
    • BigQuery 예시
    • driver_stats_fv = **FeatureView**( name="driver_activity", **entities**=["driver"], features=[ **Feature**(name="trips_today", dtype=ValueType.INT64), Feature(name="rating", dtype=ValueType.FLOAT), ], batch_source=**BigQuerySource**( table_ref="feast-oss.demo_data.driver_activity" ) )
    • 오프라인(학습) 데이터와 온라인(추론) 환경 모두에서 일관된 방식으로 Feature 데이터를 모델링 할 수 있게 함
    • 만약 FeatureView 가 특별한 entity 와 관계가 없는 feature 들만 포함한다면 entities 가 없이 (entities=[ ]) 구성될 수 있음





#직장인인강 #직장인자기계발 #패스트캠퍼스후기#온라인패키지:머신러닝서비스구축을위한실전MLOps#머신러닝서비스구축을위한실전MLOps온라인패키지Online.
https://bit.ly/37BpXiC

패스트캠퍼스 [직장인 실무교육]

프로그래밍, 영상편집, UX/UI, 마케팅, 데이터 분석, 엑셀강의, The RED, 국비지원, 기업교육, 서비스 제공.

fastcampus.co.kr

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.

반응형