노션에서 옵시디언으로 전 수학과를 나온 사람치고는 글쓰기를 참 좋아합니다. 무엇을 읽고 짧게 요약하는 걸 좋아하기도 하고, 노트에 끄적이면서 생각을 정리하거나 문제를 해결하는 걸 즐깁니다. 그러다 보니 노트 앱에 항상 큰 관심이 있었고, 예쁜 UI에 사족을 못 쓰는 저에게 노션은 딱 맞는 해결책이었습니다. 하지만 그런 저도 어느 순간 노션을 멀리하...

📄 Falkner, Stefan, Aaron Klein, and Frank Hutter. “BOHB: Robust and efficient hyperparameter optimization at scale.” International Conference on Machine Learning. PMLR, 2018. 들어가며 하이퍼파라미터 최적화 (...

📄 Li, Lisha, et al. “Hyperband: A novel bandit-based approach to hyperparameter optimization.” The Journal of Machine Learning Research 18.1 (2017): 6765-6816. 들어가며 Successive Halving Algorithm...

📄 Jamieson, Kevin, and Ameet Talwalkar. “Non-stochastic best arm identification and hyperparameter optimization.” Artificial intelligence and statistics. PMLR, 2016. Non-stochastic Best Arm Iden...

들어가며 HPO 문제 정의 $N$ 개의 하이퍼 파라미터를 가진 머신러닝 알고리즘을 $\mathcal{A}$ 이라고 하겠습니다. 여러 개의 하이퍼파라미터 중 $n$ 번째의 하이퍼 파라미터를 $\Lambda_n$ 라고 한다면, 전체 하이퍼 파라미터 환경 공간 (hyperparameter configuration space) 는 다음과 같이 정의할 수 ...