패스트캠퍼스 챌린지 15일차
1. DVC 설치
python 설치
앞의 강의에서 안내받은 방식으로 python 환경을 준비해주세요
python -V
# Python 3.9.6
git 설치
git 을 다운받습니다.
sudo apt install git
git --version
# git version 2.25.1
git --help
# 정상 설치되었는지 확인
dvc 설치
dvc 2.6.4 버전을 다운받습니다.
dvc[all] 에서 [all] 은 dvc 의 remote storage 로 s3, gs, azure, oss, ssh 모두
를 사용할 수 있도록 관련 패키지를 함께 설치하는 옵션입니다.
pip install dvc[all]==2.6.4
dvc --version
# 2.6.4
dvc --help
# 정상 설치되었는지 확인
2. DVC 저장소 세팅
1) 새 Directory 를 생성합니다.
# STEP 1) 새로운 directory 를 만들고 이동합니다.
mkdir dvc-tutorial
cd dvc-tutorial
2) 해당 Directory 를 git 저장소로 초기화합니다.
# STEP 2) git 저장소로 초기화합니다.
git init
3) 해당 Directory 를 dvc 저장소로 초기화합니다.
# STEP 3) dvc 저장소로 초기화합니다.
dvc init
3. DVC 기본 명령 1
1) dvc 로 버전 tracking 할 data 를 생성합니다.
# data 를 저장할 용도로 data 라는 이름의 디렉토리를 생성하고 이동합니다.
mkdir data
cd data
# 가볍게 변경할 수 있는 데이터를 카피해오거나, 새로 만듭니다.
vi demo.txt
cat demo.txt
# Hello Fast Campus!
2) 방금 생성한 데이터를 dvc 로 tracking 합니다.
cd ..
dvc add data/demo.txt
# To track the changes with git, run:
git add data/demo.txt.dvc data/.gitignore
3) dvc add 에 의해 자동 생성된 파일들을 확인합니다.
cd data
ls
# demo.txt.dvc 파일이 자동 생성된 것을 확인
cat demo.txt.dvc
# demo.txt 파일의 메타정보를 가진 파일입니다.
# git 에서는 demo.txt 파일이 아닌, demo.txt.dvc 파일만 관리하게 됩니다.
4) git commit 을 수행합니다.
git commit -m "Add demo.txt.dvc"
( .dvc 파일은 git push 를 수행하여, git repository 에 저장합니다.)
5) data 가 실제로 저장될 remote storage 를 세팅합니다.
본인의 google drive 에 새로운 폴더를 하나 생성해준 뒤, url 로부터 ID 를 복사합니다.
아래 스크린샷의 빨간 네모박스에 해당하는 부분을 복사합니다.
dvc remote add -d storage gdrive://<GOOGLE_DRIVE_FOLDER_ID>
# dvc 의 default remote storage 로 gdrive://<GOOGLE_DRIVE_FOLDER_ID> 를 세팅합니다.
6) dvc config 를 git commit 합니다.
git add .dvc/config
git commit -m "add remote storage"
7) dvc push
데이터를 remote storage 에 업로드합니다.
dvc push
#Go to the following link in your browser:
#
# https://accounts.google.com/o/oauth2/.........
#
# Enter verification code:
dvc push 를 수행하기 위해서는 인증 과정이 필요합니다.
위의 주소로 이동하여, google login 을 통해 인증을 수행해주시기 바랍니다.
구글 드라이브로 이동하여 파일이 정상적으로 업로드되었는지 확인합니다.
새로운 폴더가 하나 생성되었고, 폴더 내부에 긴 이름의 파일이 하나 업로드된 것을
확인하실 수 있습니다.
이 파일을 다운로드받은 뒤 열어보면 업로드한 파일과 동일한 파일임을 확인할 수
있습니다.
#직장인인강 #직장인자기계발 #패스트캠퍼스후기#온라인패키지:머신러닝서비스구축을위한실전MLOps#머신러닝서비스구축을위한실전MLOps온라인패키지Online.
패스트캠퍼스 [직장인 실무교육]
프로그래밍, 영상편집, UX/UI, 마케팅, 데이터 분석, 엑셀강의, The RED, 국비지원, 기업교육, 서비스 제공.
fastcampus.co.kr
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.