OpenAI의 GPT-3를 시작으로 AI 붐이 일어나고 있다. GPT-4o의 성능은 가히 압도적이지만, 유료인 점과 내가 원하는 컨텐츠 기반의 답변을 위해서 꽤나 번거로운 과정을 거쳐아 한다. 그래서 내가 가지고 있는 문서와 소통하기 위해서 Private GPT 분야를 알아보게 되었다.
개요
그리고 발견한 소프트웨어가 바로
gpt4all이다. 이것은 다양한 오픈소스 LLM을 내 로컬 환경에서 손쉽게 구동할 수 있도록 도와주고 로컬 문서에 근거하여 답변을 생성해준다. 이를 이용하면 어떤 것들을 할 수 있는지 가볍게 알아보자.설치
다음 홈페이지 메인에 보면 각자의 운영체제에 맞는 인스톨러를 제공하고 있다. 이를 이용하여 설치를 진행한다.
gpt4all
nomic-ai • Updated Feb 22, 2025
설치가 끝나고 실행해보면 다음과 같은 화면을 만날 수 있다.
설정
설정은 홈 화면에 나타나있는 각 항목들의 역순으로 진행하면 된다.
- Find Models를 눌러 적절한 LLM을 찾고 다운로드한다. 본인은 무료로 사용하기 위해서
Llama 3.1 8B Instruct 128k모델을 선택했다. 70B 모델들도 있는데, 용량이 어마무시하다. 반대로 GPT-4와 같은 외부 모델은 API 키를 입력해서 바로 연결할 수도 있다.
- LocalDocs를 눌러 컬렉션을 설정한다. 별도의 내용이 혼합되지 않도록 각각의 주제에 맞춰서 컬렉션을 분할하여 답변이 뒤섞이지 않도록 할 수 있다. 컬렉션에 문서를 추가하면 자동으로 임베딩을 진행하는데, 문서의 양과 크기에 따라서 꽤 시간이 걸릴수도 있다. 가끔 노트북이 이륙하는 소리도 난다.
- Start Chatting을 눌러 앞서 설정한 모델과 문서를 선택하고 질문을 하면 된다. 모델을 로딩하는 시간이 약간 소요된다. 이제 질문을 하면 문서 기반으로 답변을 제공한다.
사용
자, 이제 이걸 어떻게 사용해 볼 수 있을까?
자바 강의를 유튜브에서 하나 찾아서 스크립트를 추출해보도록 하겠다. 요새는 스크립트를 추출해주는 좋은 사이트들이 많아서 아무곳이나 이용하면 된다.
나타난 트랜스크립트를 복사해서 txt 파일에 저장, 컬렉션으로 등록한다.
문서를 저장하면 임베딩이 진행중임을 확인할 수 있다.
임베딩이 끝나고 채팅을 시작하면 일반적인 답변과 문서의 내용을 참고해서 대답을 한다.
이번에는 국세청에서 연말정산 관련 안내 책자를 다운로드 받았다. pdf 파일을 임베딩하고 질문을 했는데, 꽤 적절한 대답을 받았다.
이처럼 유튜브 트랜스크립트 뿐만 아니라 사용자 매뉴얼과 같은 문서들을 저장하고 질문하여 원하는 정보들을 빠르게 확인해볼 수 있다. 물론, 항상 정확한 것은 아니므로 언제나 방심하지 말자.
주의사항
모든 형태의 파일을 지원하지는 않기 때문에, 설정에서 지원하는 파일 확장자를 확인한다. 기본적으로
txt, pdf, md, rst 형태를 지원한다. 이 외의 확장자는 일반적으로 지원하기가 어렵기 때문에 가급적 텍스트만 추출하거나 바로 읽을 수 있는 확장자만 추가하는 것이 안전하다.개인 PC에서는 용량이 조금만 커져도 임베딩 자체를 힘들어한다. 겨우(?) 6만 단어를 20분이나 걸렸다!