[BoostCamp] Week5_Day22. 끝을 향해 달려가는

부스트캠프

🕵🏻‍♂️마스크착용 분류 대회

• 팀원들끼리 팀명에 걸맞게 이미지를 맞춤

• Wandb의 사용

Intro to Weights & Biases

• albumentation vs. transform
  • 1 epoch을 돌렸을 때 363초와 485초로 생각보다 큰 차이를 보임
  • transpose 대신 albumentation을 사용하는 것으로 확정!

  • 

• 링크를 참조하여 Learning rate scheduler를 사용해봄
  • 오히려 효과가 좋지 않았음
• Gaussianblur와 RandomHorizontalFlip 추가해서 작업
  • 시간이 훨씬 걸렸지만 성능은 많이 좋아짐
• 12시까지 제출을 완료해야해서 5개의 fold를 넣지 못하고 3개의 fold로만 결과를 냈는데 오히려 결과가 좋았음 → 이전에 비해 정확도 대폭 상승, GaussianBlur를 사용하면 결과가 좋아진다고 했는데 실제로 그럼을 확인할 수 있었다.

---

👨‍👨‍👦‍👦피어세션

굿모닝세션😊

• 성민 : Oversampling, focal_loss, loss weight로 label imbalancing을 시도하려고 한다.
  • DenseNet을 쓰면 과적합되는 특정을 조금 더 살릴 수 있다고 해서 시도 중
  • albumentation으로 oneof를 써서 random으로 noise를 줄 것
• 원상 : loss에 weight를 줄 때는 batch_size를 줄여야 할 것 같다
• 정훈 : 틀린 label 수정해서 작업 진행 중
• 현동 : Test set crop 진행 중인데 오류가 조금 있어서 고치는 중

굿에프터눈세션😄

• 준혁 : 드디어 외부 데이터 전처리 끝남 → EfficientNet 진행 중
• 성민 : pandas 작업 때문에 고통받는 중
• 주영 : CutMix 작업하신 거 소개해주심

---

✍🏻학습회고

 초반에는 베이스 라인을 구축하기 위해, 중반에는 모델을 성능을 높이기 위한 실험을 하기 위해 익숙하지 않지만 도움이 되는 것들을 미뤄왔다.

 오늘에서야 모델이 조금 안정화되면서 Wandb의 사용, albumentation과 tranform의 시간 비교, learning rate scheduler 등을 적용해봤는데 생각보다도 사용이 쉽고 편리해서 조금 더 일찍 구축해뒀어야 하나 싶기도 하다. 빠른 결정과 빠른 실행을 목표로 하다 보니 이런 것들이 늦어졌는데 이번에 배웠으니 다음 대회에서는 코드 템플릿 및 이러한 구조들을 미리 쌓아두겠다.

 하지만 learning rate scheduler 같은 경우에는 사용하면서 성능이 떨어져서 초반 실험 시에는 도움이 될 수 있겠지만 마지막 hyperparameter tuning 과정에서는 적합하지 않겠다는 생각이 들었다. 오히려 Gaussianblur와 HorizontalFlip은 데이터가 작을 때는 큰 효과를 보이지 못했는데, focal_loss와 결합하고 데이터 셋을 키워주니 꽤 많은 효과를 발휘해서 이런 것들도 한번 실험하고 포기할 게 아니라 상황이 달라지면 또 다르게 적용해볼 수 있다는 걸 배웠다.

심지어 시간이 부족해서 늘 5 fold를 ensemble 하던 것을 3 fold만 ensemble 하고 제출했더니 더 좋았던 것을 보며 운이 좋았으면서도 앞으로 이런 방향도 생각해야겠구나라고 느꼈다.

 

[AI Tech]Daily Report