데이터 코스 (-‿◦)✶ * .

ㅇ

오늘일정 예상:오전에 각자 작업하다가이따 2시에 만나서 회의하기 전에 서로 작업상황 공유 10분하고회의 30분 전후로 하고 (현재안건: 질문자 배정)회의끝나고 질문노트 함께 완성 (문제 발생 크기에 따라 30분~1시간..)5시 전까지 각자 작업5시되면 튜터링(40분쯤 하시는듯) / 6시 전까지 튜터링 내용 메모 or 녹화링크 노션에 모아놓기6-7:30 저녁밥7:30-8:00 정근님 오시고 필요한 작업 , 상황 전달8:00 - 8:30 저녁스크럼 (8시고정)8:50 5분기록보드 작성

팀 이번주의 목표 이번주 우리팀 약속화요일까지는 보고서 완성하고 제출수요일 오전 11시까지 ppt 제출하기중간발표회 끝나고 진짜로 최종 데이터셋으로 상관관계 분석 및 클러스터링, 모델링 들어가기 연서(메인), 예란(서브로 전처리 채워넣기) → 보고서 작성하기소희(메인), 예란(메인2) → PPT 제작도현, 정근 → 모델링은 일단 멈춰주세요. 대신 파생변수 생성 전 EDA 부탁드립니다.users+orders → EDA 따로 → 보고서 및 ppt에 들어가는 거 생각해서 중간 중간 정리해주세요.restaurant+ orders→ EDA 따로정리를 하고 넘어가자… → 최종 때 해야할 일을 먼저한다는 생각으로 깔끔하게 정리하자!피그마는 전체 흐름 확인용노션으로 깔끔하게 정리해서 피그마에 링크 기재하는 형식수요일 ..

진짜오늘 저녁 8시 경에 드디어 파생변수 만들긴 함 (그전에 또 새로운 문제 탄생하여 많은 전처리 했지만 말이다)데이터 머지하기 위한 전처리 오늘 또함! 그러고서 세 데이터셋 다 붙여서 작업을 해봤더니그렇게 해서 작업하니까 둘만 붙였을 때보다 더 이상하게 나오는 것들이 있어서다시 둘 둘 버전으로 파생변수 만들기 하고 나중에 붙이기로함그렇게 둘둘 버전을 가지고 팀원 각자 파생변수 만들기를 시작함...파생변수 뭐 만들지 아이디어도 다함께 내놓은 상태이긴 했어서팀원분들이 만드실 파생변수와 겹치지 않으면 시간아끼고 좋으니까 방금까지의 업데이트된 인사이트를 반영해서 지금까지 생각하지 않았던 파생변수 아이디어를 짜서더 새로운거를 만들어볼까 싶었다(few hours later) 전에 생각하지 않았던 새로운 파생컬럼을..

그룹화 할 때cuisine 컬럼을 나노단위로 수동으로 다 나눴달까 크게 12가지 음식 그룹으로 나누느라고 파생컬럼 만들기까지 좀 걸렸고 파생컬럼 만들려고 보니까 이상치를 아직 제거를 안했더라구 그래서 이상치 제거하다보니까 퇴실시간돼서내일 이상치 제거하기로 했는데 이상치 제거를 어떤 기준으로 할지 오늘 회의하다가 끝나서내일 튜터님한테도 물어보고 정해야됨 아마 iqr로 할듯. 그룹화 좀 어려운 것 같애 그리고 하다보면 순서도 꼬이고 완전 초보냄새나나 ㅋ

우리의 프로젝트 기획서를여러 버전과 목표로 작성해보다가하나로 땅땅땅 결정~vip 마케팅 리텐션 개선과 고객 이탈률 개선을 위한 클러스터링(vip군집)과 모델링(이탈률예측)을 할 예정이다.보고서까지 잘 작성해보는 걸 목표로 한다.오늘 프로젝트 일정 수립 디테일하게 잡아보다가 저녁에 수업이 생겨서 마무리 못해서내일 일정수립을 할 예정이고클러스터링부터 착수를 할 건데그에 필요한 EDA 방식을 튜터님께 조언을 받아서 알게 되었다.데이터가 5개인데 각각 결측처리 조금 한 다음에 전체를 다 머지해서 거기서 eda를 해야겠다고 생각했는데그렇게 해보니까 다 합쳤을경우 결측치도 많이 생겨나고 전처리도 완벽하지 않고 앞으로 eda하기 오히려 더 어려운 문제점에 봉착했다.그래서 거기서부터 슬슬 헤매기 시작해서 튜터님께 여쭤..

eda 했고주제 정했고 문제정의 정했고 정근님이 28차 그룹화까지 진행하셨고 도현님이 통계랑 머신러닝 조금 미리 해보셨어가지고 데이터셋 생성이 완료되었음 감사감사를... 여기서 더 필요한건 도메인지식으로 머신러닝할 때 파생컬럼의 기준을 확립하는 것인가?싶다.

zomato 기업 (푸드 앱) 데이터셋으로 최종결정했다.(인도의 온라인 음식 배달 및 레스토랑 검색 플랫폼인 조마토)결정하기까지 오늘 하루 더 평가과정을 거쳤다.이는 배달앱인데 고른 데이터셋에는 배달은 없고(;;;ㅋㅋㅋ)유저 데이터, 오더데이터, 레스토랑, 메뉴 데이터등이 있는 상황이다. 이 데이터셋으로 어떤 프로젝트를 할지 정해보는 것도 오늘 할 일이었다.이에 대해서는 여러 좋은 아이디어와 계획서 구조가 나와서 정리해서 적다보면 완성될 것 같다.아직 해결되지 않은 질문도 있는 상태라 그건 튜터님 면담시간에 해결하기로 했다. 잘 마무리된 하루~!~!!!!끝나고는 팀원들과 여러 이야기를 해서 재미있었다. 오늘 브레인스토밍(?)을 해보면서 기억에 남은 일은이 데이터가 2017-2020년까지의 데이터라이 데이..

오늘은 온 캐글고 온 공공데이터포탈을 돌아다니며 적절한 데이터셋을 찾아 돌아다녔다. 팀원모두 캐글 데이터 20개, 공공데이터도 20개 정도 공유했다.다 도메인은 좋은데 데이터가 약간 부족하다던가, 데이터는 좋은데 너무 사이즈가 크다던가, 데이터랑 도메인은 좋은데 우리가 작업하기에 데이터가 너무 과하게 처리하기 어려울 것 같다거나 한 점이 있어서 고르는게 까다로웠다!이런걸 보는 눈이 생긴 것 같다. 1-5점으로 점수 매겨가면서 걸러냈다그중에서 5개 이내로 추리느라 죽는 줄!!! 팀원분들과 sql같이 푸는 시간도 가지기로 했고5분 기록보드로 프로젝트하면서 느낀 인사이트 적기로 했다.오늘것도 한번 적어보았다... 인사이트가 있었는데!!! 눈치채지 못하고 있었군!!! 좋은 데이터셋을 보는 안목을 기르는 시간..

오늘 한 일 순서대로 적어본다. 1. 흥미있는 도메인을 5명이 노션에 공유2. 흥미있고 사용하기 적절한 데이터를 5명이 노션에 공유3. 각 데이터셋으로 프로젝트 진행 시 예상되는 장단점을 피그마에 마인드맵으로 대강 적어봄4. 각자 약 4개 정도의 데이터를 가져왔기에 합치니깐20개 정도의 아이디어가 나왔고 관심가는 흥미로워보이는 도메인도 넘 많아서 고르기에 난감했음5. 일단 금요일인 오늘은 이미 데이터셋이 잘 만들어져있는 캐글데이터 중에서 판단할 시간이 돼서, 공공데이터는 다음주에 판단키로 하고 (왜냐면 단 하나의 단독으로 훌륭한 데이터셋은 못찾았는데 여러 데이터를 합해서 같이 분석하여 인사이트를 낼 경우 굉장히 흥미로운 결과가 나올 것 같았고 서울시나 정부 공공데이터가 풍요로워서 다음주 월요일에 각잡고 ..

내일부터 최종프로젝트...마음의 준비를 해야겠다...도메인 데이터도 좀 찾아보고...취업플랜도...고민해도 답이 없다면 뭘 하든 장단점이 비슷해서 선택이 어려운 것일 수 있다고 했다... 이럴땐 편하게 암거나 고른다.

이력서 생각을 하다보니 머릿속에 이력서만 가득해졌다결국 이력서만 본 하루가 됐다~~취업 준비를 위한 노션 탬플릿도 좀 더 제대로 만들고 말이다지금까지 바탕화면에 폴더가 있었는데 이것보다 좀 더 취업캘린더스러운 관리를 해야겠다는 생각이 들어서.. 그래도 선택학습반 라이브세션은 들었다다른 반 수업도 듣고 싶기는 한데 ... 설무아 튜터님 강의도 궁금하긴 한데... 인턴 지원서를 쓸 준비를 해야한다는 생각에 강의에 집중이 안된다^^.... 그리고 오늘은 저녁먹고 바깥 산책을 좀 했는데 산책을 하니까 사람다워진 기분이었다