로컬에서 Llamafile 돌려보기

소개

llamafile은 하나의 파일로 로컬환경에서 텍스트 생성형 AI-Llama를 쉽게 돌릴 수 있는 툴이다.

현재 실행파일내에 embed헝태로 지원하는 모델은 3개이다

  1. Mistral-7B-Instruct : 텍스트 생성 AI
  2. LLaVA 1.5 : 이미지 인식 텍스트 생성형 AI
  3. WizardCoder-Python-13B : 파이썬 코딩 특화 LLM

현재 *nix, mac, windows모두 지원한다. (하지만 윈도우즈에서는 실행파일 크기가 4G가 넘으면 실행이 불가한 문제로 모델파일을 따로 다운로드 하고 인수로 넘겨서 실행해야 한다)

테스트 환경

  • CPU : Intel i5 6600
  • Memory : 32G
  • GPU : 사용하지 않음

제약사항

  1. 메모리가 최소 런타임 파일 사이즈 만큼 필요. 예를 들어 Mistral-7B-Instruct의 경우 사이즈가 4G이므로 메모리를 4G이상 사용한다.
  2. GPU를 사용하지 않을 경우 CPU 사용량이 엄청 높다(응답 생성시 100%사용, 아이들링시에도 35% 정도 사용). 그래서 GPU가 필수일 듯

테스트

  • 초기화면에서 옵션을 설정할 수 있다. 초기화면 초기화면

  • 한글도 잘 된다. 하지만 중간에 응답이 끊겼다 한글 테스트 한글 테스트

결론

시스템 리소스를 너무 많이 써서 실사용이 힘들다. GPU가 있는 고사양 장비를 가지고 있는 분들은 시도해볼만 하겠다. 그래서 나는 그냥 ChatGTP를 계속 쓰기로…