Automatic Mixed Precision (AMP)
들어가며 전 PyTorch보다는 Tensorflow나 Keras를 이용해서 모델을 구현하곤 했는데 이번에 투입된 프로젝트에선 전부 PyTorch로 짜여있었습니다. 이미 작성된 모델 코드를 보는데 NVIDIA APEX의 AMP를 사용하고 있더군요. 예전부터 Low precision에 대해서는 짧게 알고는 있었지만 이번 기회에 AMP에 대해서 더 자세히...
들어가며 전 PyTorch보다는 Tensorflow나 Keras를 이용해서 모델을 구현하곤 했는데 이번에 투입된 프로젝트에선 전부 PyTorch로 짜여있었습니다. 이미 작성된 모델 코드를 보는데 NVIDIA APEX의 AMP를 사용하고 있더군요. 예전부터 Low precision에 대해서는 짧게 알고는 있었지만 이번 기회에 AMP에 대해서 더 자세히...
Covington, Paul, Jay Adams, and Emre Sargin. “Deep neural networks for youtube recommendations.” Proceedings of the 10th ACM conference on recommender systems. 2016. Introduction 유튜브 영상 추천은 다음 ...
요즘 느꼈던 것들에 대해서 조금만 이야기해보려 합니다. 요즘 조금 바쁘게 지내고 있습니다. 이전 2021년 회고 포스트에서 말씀드렸듯 U+ 아이들나라 추천 서비스 개발/운영 프로젝트를 수행하고 있습니다. 역할이 PM이다보니 기존에 개발만 하던 것에 더하여 추가적인 업무들이 조금 생겼습니다. 투입 인원에 대한 관리, 계약 관리, 프로젝트 검수 ...
들어가며 여러 사람과의 버전 관리를 위해 Git을 사용하다 보면 많은 문제가 생기기 마련입니다. 그중에서도 서로 다른 컨벤션, 특히 커밋 메시지 때문에 생기는 문제는 간단하게 해결하기 쉽지만 귀찮은 마음에 넘어가기 쉽습니다. 처음엔 괜찮아도 몇 번의 커밋이 쌓이기 시작하면 너무 먼 길을 왔다는 생각에 이도 저도 아니게 되는 경우도 더러 있는 듯합니다...
A/B 테스트를 대체할 수 있는 Multi-armed Bandit에 대해서 알아봅시다. 🎰 들어가며 두 개 이상의 다른 광고, 추천 알고리즘 결과 등의 성능을 비교하여 평가할 때 A/B 테스트를 많이 사용합니다. 기존의 제품과 새로 만든 제품을 각각 대조군과 실험군으로 설정하여 어떤 제품이 더 나은지 통계적으로 검증합니다. ...