[2025 여름] 04주차 (06/16 ~ 06/22) : 달라진 데이터 환경

달라진 데이터 환경에 대한 이야기가 가득하다

 

 

 

 

1️⃣ SQL 로 데이터 추출

• 이 회사는 re-dash 아테나 환경에서 SQL 을 추출한다

• mysql, 빅쿼리, databricks sparksql 이후로 새로운 환경이다.
• 데이터 스택(SQL 엔진) 이 달라도 기존에 적응해봤으니까 경력직의 짬바로 잘 적응해야지…. 로 생각하지만, 적응하는데 시간이 들어간다.
  • 또 바보가 되는 기간이구나 껄껄,, 해학으로 최대한 넘기려고 스스로 애쓰는 중
  • 아직 테이블 도메인 지식이 부족해서 예상한 시간보다 이틀 이상 시간을 더 썼다.
    
    
• 이 부분에 대한 사전을 마련하면 도움이 될까?
  • 아래 2가지 고민이 들었다.
    • 어떻게 해야 사전화를 할 수 있을까? (feat. query LLM 대비)
    • 다른 회사에서 적응할 때도 할 수 있는 성공방정식이 될 수 있을까?
      
      
  • 우선 적응해야한다고 생각하는 테이블들
    • 회원 데이터
    • 접속 데이터
    • pdp 데이터
    • 구매 데이터 : 가입 후 기여모델
    • 상품 데이터
      
      

 

 

 

2️⃣ airflow 첫 사용

• 이 회사는 데이터 워크플로우 관리를 airflow 로 진행한다.
  • databricks workflow 대비 친개발자 UI 라 낯설다
    
    
• 배치를 처음 써봤다. 실행버튼 클릭만 하는 것이지만, 생각보다 속도가 느렸다.
• 그래도 시작은 반! 입문해서 뿌듯하다.
• 무에서 유로 만드는 작업은 언제 할 수 있을까? 아득하기도 하다.