Wu, Yao, et al. “Collaborative denoising auto-encoders for top-n recommender systems.” Proceedings of the ninth ACM international conference on web search and data mining. 2016. 들어가며 지난번 AutoRe...

들어가며 PyTorch로 구현된 여러 코드들을 보면 무조건 보이는 메서드가 있는데 바로 zero_grad() 입니다. PyTorch 문서를 보면 다음과 같이 설명하고 있습니다. torch.optim.optimizer.zero_grad Sets the gradients of all optimized torch.Tensors to zero. ...

들어가며 PyTorch로 된 여러 가지 구현체들을 보다보면 매번 loss function을 다루는 방식이 다른 것을 알 수 있습니다. 어떤 코드에선 배치마다 loss를 더하기도 하고 어떤 코드에선 그냥 두기도 합니다. 이미 구현이 되어 있는 torch.nn 내의 많은 loss 클래스들을 살펴보면 reduction이라는 인자가 있는 것을 알 수 있는...

Sedhain, Suvash, et al. “Autorec: Autoencoders meet collaborative filtering.” Proceedings of the 24th international conference on World Wide Web. 2015. 추천 시스템을 공부하고 개발한 지는 꽤 되었는데 생각보다 공부한 내용들을 ...

Photo by Andrea Sonda on Unsplash 들어가며 이미 이전에 Automatic Mixed Precision과 관련된 포스트를 게시한 적이 있습니다. [링크] APEX를 이용해서도 충분히 AMP를 사용할 수 있지만 PyTorch 1.6 버전부터 자체적으로 지원하는 AMP를 사용하면 APEX가 갖고 있는 여러 문제를 해결...