Pandas에서 Nested list를 펼치려면 폭파시켜버리면 됩니다. 💣 데이터프레임을 다루다보면 컬럼 내에 리스트가 Nested된 형태가 가끔 있습니다. 자주 겪을 수 있는 케이스는 아니라 pandas 내에 이걸 처리하는 메서드가 있을거란 생각을 안해봤는데요. 이런 케이스입니다. >>> df = pd.DataFrame(...

Jupyter Notebook이 참 좋은데 참 별로란 말이죠? 2015년 말부터 데이터에 대해 공부하며 처음 쓰기 시작한 언어는 R이었습니다. 당시를 떠올려보면 데이터 분석은 곧 R을 의미했었습니다. 많은 책들이 쏟아져 나오고 있었고, 워드클라우드를 그릴 줄 아는 것이 기본 소양이었습니다. 공부를 더 하다보니 캐글을 접하게 되고, 많은 사람...

🤬 Unhandled type for Arrow to Parquet schema conversion: halffloat 최근 데이터를 저장하고 불러올 때, 빠른 I/O 속도와 컬럼의 데이터 타입을 메타 데이터로 저장할 수 있어서 Parquet 타입을 자주 사용하고 있습니다. Dependency로 pyarrow나 fastparquet만 설치하...

SOLID 원칙이란 ‘클린 코드’의 저자인 로버트 마틴이 명명한 객체 지향 프로그래밍의 다섯 가지 기본 원칙입니다. SOLID는 각 기본 원칙의 앞글자 훨씬 단순하고, 이해하기 쉬우며, 유지보수에 용이하고, 확장성이 높은 코드를 작성하도록 도와줌 어떤 클래스를 변경해야 하는 이유는 오직 단 하나 뿐이어야 한다. (A ...

Timestamp를 Rolling Aggregation하는 방법은 생각보다 쉽습니다. 데이터를 다루다보면 필연적으로 Group-by Operation을 자주 접하게 됩니다. 일반적인 Group-by Operation들은 단순합니다. 그룹마다 평균을 구한다거나 중앙값을 구하거나 최댓값, 최솟값을 구합니다. 하지만 타임스탬프가 존재하고 그룹마다...