반응형

pandas 2

pandas보다 속도 빠른 polars의 csv reader & saver 빅데이터 분석의 시작과 끝

파이썬으로 pandas만 쓰시나요?** pandas와 🐼는 관련이 없습니다.panel data(다차원 시계열 데이터)의 약자 빅데이터를 다룬다면 polars도 해야합니다.왜냐? 훨~씬 빠르거든요!! 오늘 정리해볼 파이썬 함수 코드bigdata 분석의 시작과 끝이라 할 수 있는csv reader와 saver 읽기와 저장하기!! pandas로 read_csv, to_csv로 정말단순하게 코드를 짤 수도 있지만, 다루는 데이터가GB단위를 넘어가 속도 압박에 이것저것 맞춰주기까다로운 polars를 쓰고 batch size 설정 잘못해서 회사 컴을 먹통으로 만들어가며 이번이 최종본이다!라는 생각을 수차례 한 뒤, 이제는 정말 마지막이다..라고 생각하며 공유합니다. def csv_reader(path, use..

파이썬으로 마케팅 CPI trend분석, raw data.csv 중복 없이 하나의 데이터프레임으로 concat하기 feat. 리스트 컴프리헨션

오늘은 외주(?)받은 아웃소싱 프로젝트를 진행해보려 합니다. 마케팅에 중요한 지표라는 CPI !!Cost per Install : 설치 건 당 쓴 광고비 파이썬 코드를 이용해서 일자별 CPI trend를pivot분석하고 엑셀의 조건부 서식까지자동화하는 것이 목표입니다.  코드를 돌려 생성된 엑셀파일을 딱 열기만하면 위 그림처럼 되도록!!일단, 이번 소목표는 os로 폴더 내 raw csv파일을싹 긁어와 병합하고, 중복 제거하는 단계까지!! ** os : operating system(운영체제)유저 인터페이스를 제공하는 시스템 소프트웨어  마케팅 분야는 잘 모르지만, 대충 들어보니Spend 광고비로 지출한 금액Install 유저가 광고를 보고 설치한 수CPI = Spend/Install 즉, 위에서 언급했든..

반응형