Wu, Yao, et al. “Collaborative denoising auto-encoders for top-n recommender systems.” Proceedings of the ninth ACM international conference on web search and data mining. 2016. 지난번 AutoRec 논...

PyTorch로 구현된 여러 코드들을 보면 무조건 보이는 메서드가 있는데 바로 zero_grad() 입니다. PyTorch 문서를 보면 다음과 같이 설명하고 있습니다. torch.optim.optimizer.zero_grad Sets the gradients of all optimized torch.Tensors to zero. 한 줄로 짧...

PyTorch로 된 여러 가지 구현체들을 보다보면 매번 loss function을 다루는 방식이 다른 것을 알 수 있습니다. 어떤 코드에선 배치마다 loss를 더하기도 하고 어떤 코드에선 그냥 두기도 합니다. 이미 구현이 되어 있는 torch.nn 내의 많은 loss 클래스들을 살펴보면 reduction이라는 인자가 있는 것을 알 수 있는데요. 이 ...

Sedhain, Suvash, et al. “Autorec: Autoencoders meet collaborative filtering.” Proceedings of the 24th international conference on World Wide Web. 2015. 추천 시스템을 공부하고 개발한 지는 꽤 되었는데 생각보다 공부한 내용들을 ...

Photo by Andrea Sonda on Unsplash 이미 이전에 Automatic Mixed Precision과 관련된 포스트를 게시한 적이 있습니다. [링크] APEX를 이용해서도 충분히 AMP를 사용할 수 있지만 PyTorch 1.6 버전부터 자체적으로 지원하는 AMP를 사용하면 APEX가 갖고 있는 여러 문제를 해결 할 ...