EfficientNet을 사용할때 성능 및 메모리 사용량 주의

EfficientNet (반전) 벤치마킹

  • 아래는 EfficientNet의 순수 정확도를 기준으로 기존의 방법론들과 비교를 한 결과이다. B0~B3까지 존재를 하는데 조금더 나은 버전인 B4~B7이 없으므로 일단은 성능이 나쁘고 좋다라고 말하기 어렵다.
  • 이미지셋은 평범한 ImageNet v2.
예상했던 정확도 결과이다.

파라미터 수

  • 아래와 같이 EfficientNet은 그래도 효율은 제일 적은 파라미터로 좋은 결과를 내는 편으로 보인다. 이는 논문과 비교적 같은 결과이다.
  • 따라서 당연히 속도도 빠를거라 생각하는데..

실제 속도

  • 파라미터로 보면 당연히 속도가 빨라야 한다.
  • 그런데 반전이 존재하는데, Throughput(이미지당 처리량)으로 비교해보자면, 그렇게 빠르지도 않는다는 결과가 있다..
  • EfficientNet의 논문과는 다르게, 정확도와 실제속도(이미지 처리량)간의 차이가 뚜렷한 우하향으로, 그중 제일 효율적이라고 예상했던 EfficientNet B0 224pixel모델이 제일 효율이 떨어진다.

GPU 메모리 사용량

  • GPU 메모리 사용량은, 게임할때와 다르게 딥러닝 훈련시 크리티컬하다. 속도보다도 아예 Out Of Memory가 나와서 뻗는 경우가 다반사이다. 배치크기에도 직격탄이기 때문에, 메모리 사용량은 적을수록 좋다.
  • 충격적인 결과일수도 있는데, 여러가지 구조상 EfficientNet이 메모리 사용량이 적지 않다. 제일 왼쪽에 위치하는 파란색 선이 그냥 resnet도 아닌 resneXt 계열로, EfficientNet보다 훨씬 메모리를 아껴쓰고 있다.
  • 이는 구현상의 문제인지, 오래된 resnet계열의 최적화 때문인지는 아직 확실치 않다.
  • EfficientNet은 정확하게 효율적으로 빠르고 정확한 잠재력을 찾아낼 수 있다것을 밝혀낸데는 의의가 있다.
  • 그런데, 실제적으로 빠르거나 메모리 효율적이지 않다면 이를 이용하는 실무 입장에서는 아직까지는 약간 시기상조일수 있다.

18 thoughts on “EfficientNet을 사용할때 성능 및 메모리 사용량 주의

  1. 질문이 있습니다 rate에서 images/sec면 초당 이미지 처리량이 아닌가요? 값이 클수록 초당 처리하는 이미지가 많다는 거로 이해하는데…. 그럼 efficientnet-d0의 경우 가장 효율이 좋은거 아닌가요?

  2. 저도 efficientnet을 현업에서 사용하고 있지만, 실제 resnet 152가 트레이닝 속도면이나 성능적인 면에서도 더 좋게 나오더라구요…

  3. Shop Online With Echeck [url=https://cheapcialisir.com/]buy cialis online canadian pharmacy[/url] Propecia United Pharmacies Cialis Is Generic Cialis Safe

  4. Levitra Vendita Compra [url=https://viacialisns.com/]generic for cialis[/url] Legally Clobetasol In Australia Cialis efectos viagra en el deporte

  5. Hey there just wanted to give you a quick heads up and
    let you know a few of the pictures aren’t loading properly.
    I’m not sure why but I think its a linking issue. I’ve tried it in two different
    web browsers and both show the same outcome.

    Here is my web page … g more

  6. Hi, I think your website might be having browser compatibility issues.

    When I look at your website in Opera, it looks fine but when opening in Internet Explorer, it has some overlapping.
    I just wanted to give you a quick heads up!

    Other then cbd oil that works 2020,
    fantastic blog!

  7. Hey I know this is off topic but I was wondering if you knew of any widgets I could add to my blog
    cbd oil that works 2020 automatically tweet my newest twitter
    updates. I’ve been looking for a plug-in like this for
    quite some time and was hoping maybe you would
    have some experience with something like this. Please let me know if you
    run into anything. I truly enjoy reading your blog and I look forward to your new updates.

  8. Hey I am so excited I found your weblog, I really found you by error, while I was browsing
    on Yahoo for something else, Nonetheless I am here now and would
    just like to say thank you for a marvelous post and a all
    round interesting blog (I also love the theme/design), I don’t have time to go through it all at the moment
    but I have saved it and also added your RSS feeds, so
    when I have time I will be back to read more, Please do keep up the great work.

    my page – cbd oil that works 2020

  9. Знаете ли вы?
    Водитель ледового комбайна стал звездой единственного матча НХЛ, в котором принял участие.
    Копенгагенский собор пришлось выстроить заново после визита англичан в 1807 году.
    Первый в мире короткоствольный револьвер (англ.)русск. с откидным барабаном стал символом кинонуара.
    В Чехословакии и СССР был свой «поцелуй победы».
    Персонажу французской комедии о Фантомасе советские подростки подражали всерьёз.

    [url=http://arbeca.net/]http://www.arbeca.net/[/url]

댓글 남기기