들어가며 PyTorch로 된 여러 가지 구현체들을 보다보면 매번 loss function을 다루는 방식이 다른 것을 알 수 있습니다. 어떤 코드에선 배치마다 loss를 더하기도 하고 어떤 코드에선 그냥 두기도 합니다. 이미 구현이 되어 있는 torch.nn 내의 많은 loss 클래스들을 살펴보면 reduction이라는 인자가 있는 것을 알 수 있는...

Sedhain, Suvash, et al. “Autorec: Autoencoders meet collaborative filtering.” Proceedings of the 24th international conference on World Wide Web. 2015. 추천 시스템을 공부하고 개발한 지는 꽤 되었는데 생각보다 공부한 내용들을 ...

Photo by Andrea Sonda on Unsplash 들어가며 이미 이전에 Automatic Mixed Precision과 관련된 포스트를 게시한 적이 있습니다. [링크] APEX를 이용해서도 충분히 AMP를 사용할 수 있지만 PyTorch 1.6 버전부터 자체적으로 지원하는 AMP를 사용하면 APEX가 갖고 있는 여러 문제를 해결...

문제 PyTorch를 사용하여 한 번의 epoch에 대해 학습을 진행할 때 DataLoader 객체를 순회하게 됩니다. 그 때 tqdm을 이용하여 progress bar를 표시하는 경우가 있는데 간혹 제대로 표시가 안되는 경우가 있습니다. 아래 코드를 보겠습니다. 아래 코드는 tqdm 이슈란을 살펴보다가 가져오게 되었습니다. [Ref] for i_...

들어가며 ML 프로젝트를 하다보면 모델에 필요한 많은 하이퍼파라미터를 포함해서 설정값을 관리하는 것이 매우 중요해집니다. 많은 실험을 통해 최적의 성능을 갖는 하이퍼파라미터 집합을 찾았는데 이를 제대로 관리하지 못하게 되면 까먹게 된다면 지금까지 들였던 시간을 다시 들여야하니까요. 그런데 재현성이 그 무엇보다 중요한 ML 프로젝트에서도 생각보다 이런...