최신 LLM 및 Foundation model 공짜로 돌리는 방법

Posted on In ,

배경

몇주에 하나씩 빅테크 및 스타트업에서 LLM 모델 및 Foundation model을 업로드하고 있다 (정말 정신없을정도로 빠르다!).

트위터로 논문 소식을 팔로잉하는데, 논문들이 다 그렇듯이 벤치마크 결과만 보면 다 자기가 제일 잘났다고 한다.

실제로 돌려봐야 성능을 제대로 가늠하겠다만…

Docker로 감싸주지 않는 오픈소스도 많고, 무엇보다 LLM이다보니 내 GPU가 힘들어한다.

 

얼마전 NVIDIA 웹사이트를 뒤져보다가 아주 멋진 리소스를 발견해서 공유한다.

무려 ‘GPU 없이 공짜로’ 최신 LLM과 Foundation model을 쓸 수 있다.

 

NVIDIA NGC

 

NVIDIA NGC 카탈로그 링크로 들어가면 위와 같은 화면이 나온다.

여기서 Foundation model 란에 들어가면…

 

 

짜잔!

최신 LLM을 다 모아볼 수 있다.

Meta의 llama2와 code-llama, Mistral의 Mixtral 8x7B, StableAI의 Stable diffusion Large , Google의 Gemmma, 오픈소스인 StarCoder까지…

심지어 Google에서 만든 Gemma는 출시된지 이틀만에 NGC에 올라왔다 ㄷㄷ

 

Meta의 Code Llama를 이용해서 코드 생성을 한 것이다.

딱 봐도 속도가 엄청나게 빠르다 ㄷㄷ

ChatGPT처럼 과부화된 서버를 사용하지 않으면 원래 이정도 속도가 나오나보다.

 

장점과 단점

  • 장점

    • GPU 없이 무료로 LLM과 Foundation model을 사용해볼 수 있다.
    • 최신 LLM과 Foundation model을 환경설정 없이 + 다운로드 없이 편하게 써볼 수 있다.
    • ChatGPT 보다 훨씬 빠르다.
    • 심지어 파라미터 튜닝도 가능하다.
    • API를 연결해서 결과만 받아볼 수도 있다.

  • 단점

    • ChatGPT나 Claude에 비해 LLM 성능이 많이 떨어진다.
      • 아마 전처리 프롬프트가 따로 없어서 그런것 같다.
    • ChatGPT나 Claude에서는 파일을 업로드해서 LLM 처리가 가능한데, 여기에는 없다.
Related Posts