나는 내 지역 LLM에 내 파일에 대한 접근 권한을 줬고, 그것이 내가 결제하던 세 개의 앱을 대체했다

만약 당신이 끊임없이 검색해야 하는 많은 파일을 가지고 있다면, 아마도 그 파일들을 읽고 요약하는 소프트웨어에 비용을 지불하고 있을 것입니다. 하지만 로컬 LLM이 어떤 파일이든 마인드맵으로 바꿀 수 있다는 점을 고려하면, 당신의 LLM에게 파일 접근 권한을 준다면 어떻게 될까요?

바로 그걸 제가 한 것이고, 놀랍게도 결과는 훌륭하게 나왔습니다. 클라우드도 없고, API 키도 없고, 당신의 기기 밖으로 나가는 것도 없으며, 정신 차려보면 평소에 돈을 내고 사용하던 앱을 대체할 수도 있습니다.

로컬 AI 인덱싱이 실제로 작동하는 방식

로컬 LLM이 파일에 접근하도록 허용하는 것은 생각만큼 어렵지 않습니다

로컬 LLM에게 파일 접근 권한을 주는 것은 겁이 날 수 있지만, 실제로는 생각보다 간단합니다. 저는 RAG 또는 검색 강화 생성(Retrieval-Augmented Generation)이라는 접근 방식을 사용했습니다. 전체 문서를 모델의 컨텍스트 창에 넣는 대신, 이는 느리고 토큰 비용이 많이 들며 한도에 금방 도달하지만, RAG는 파일을 더 작은 조각으로 나누고 벡터 임베딩으로 변환하여 로컬 데이터베이스에 저장할 수 있습니다.

AI에게 질문을 하면 시스템은 가장 관련성 높은 부분만 검색하여 모델로 전송합니다. 사용자의 파일은 어디에도 가지 않으며, 모델은 필요한 부분만 읽습니다.

이 작업을 달성하기 위해 몇 가지 도구를 사용했습니다. GPT4All의 LocalDocs 기능을 사용하면 폴더를 지정할 수 있고, 자동으로 파일 색인을 시작합니다. 좀 더 복잡한 경우에는 AnythingLLM을 사용할 수 있는데, 이 도구는 PDF, Word, TXT, CSV 파일을 처리할 수 있으며, 서로 다른 프로젝트를 위해 별도의 작업 공간을 만들 수 있게 해줍니다.

두 도구 모두 완전히 오프라인으로 실행되며, 유일한 요구 사항은 모델(및 컴퓨터)이 충분히 성능이 있어야 한다는 것입니다. 저는 Ollama를 통해 LLaMA 3의 3B 양자화 버전을 사용했는데, 제가 생각한 작업에는 충분히 더할 나위 없었습니다. 다만 하드웨어 여유가 있다면 8B나 13B 모델로 시도해도 좋습니다. 파일 관리는 또한 MCP 도구와 함께 로컬 LLM을 사용하는 더 흥미로운 방법 중 하나입니다.

나는 마침내 PDF 채팅 앱을 버렸고(그리고 전혀 그리워하지 않는다)

내 로컬 LLM이 엉망인 문서를 더 잘 처리하는 방법

일상적으로 많은 PDF를 다루는 분들에게는 AskYourPDF가 익숙할 것입니다. 이 도구는 문서를 업로드하고, 그에 대해 질문을 하며, 요약이나 인용을 얻을 수 있는 간단한 도구입니다. 기능은 괜찮지만 파일을 사용할 때마다 서버로 전송되며, 무료 요금제도 괜찮지만 본격적인 작업을 하려면 최소한 월 11.99달러의 프리미엄 요금제가 필요합니다.

내 대체물? 그냥 PDF 폴더를 GPT4All의 LocalDocs에 넣고, 임베딩 과정이 끝날 때까지 기다린 다음 질문을 시작하세요. 결과가 완벽하지는 않지만, 특정 데이터를 뽑아내거나, 섹션을 요약하거나, 문서 내용에 대해 구체적인 질문을 하는 데는 매우 뛰어납니다.

더 복잡한 쿼리의 경우, 문서를 한 번만 임베딩하고 다양한 세션에서 질문할 수 있는 AnythingLLM을 사용할 수 있습니다. 게다가 업로드가 없고, 서버를 기다릴 필요도 없으며, 제3자 서버에 보내도 되는 것에 대한 결정을 내릴 필요가 없었기 때문에 제 작업 흐름이 훨씬 빨라졌습니다.

저에게는 이제 Notion AI의 Q&A 검색이 더 이상 쓸모가 없습니다

모든 파일에서 더 나은 질문을 하기

내 Notion Plus 구독은 매달 그만한 가치를 했지만, 이제는 과거의 일이다. 나는 이미 Notion에서 AFFiNE로 전환했으며, 내 로컬 LLM들이 내 노트를 검색할 수 있기 때문에, 질문을 하면 전체 워크스페이스를 검색하여 답을 제공하는 Notion AI의 Q&A 기능은 나에게 쓸모없다.

보시다시피, 로컬 RAG는 정확히 이 기능을 수행하지만 구독료 없이 사용 가능합니다. Reor는 오픈 소스이자 로컬 우선(note-taking) 노트 앱으로, 내부적으로 Ollama를 사용하며 벡터 유사성을 이용해 관련 노트를 자동으로 연결합니다. 저는 제 Markdown으로 저장된 AFFiNE 노트 저장소를 가리켰고, 어느새 의미 기반 검색, 관련 노트 자동 연결, 전체 지식베이스에서 질문할 수 있는 내장 채팅 인터페이스를 갖추게 되었습니다. 모든 것은 로컬에서 실행되며, 모든 임베딩은 디스크에 저장되고, 아무것도 어디에도 업로드되지 않습니다.

파일 검색이 훨씬 더 강력해졌습니다

전통적인 검색 도구는 지역 LLM에 거의 미치지 못한다

저는 바쁜 주 동안 종종 시끄러워질 수 있는 컴퓨터에서 파일을 찾기 위해 Windows에서 세 가지 다른 검색 앱을 사용합니다. 만약 여러분이 X1 Search와 같은, 로컬 파일, 메일, 첨부파일, 클라우드 저장소를 인덱싱하여 컴퓨터를 개인용 구글처럼 사용할 수 있는 고급 사용자용 데스크탑 검색 앱을 사용하고 있다면, 그 구독은 곧 쓸모없게 느껴질 것입니다.

로컬 LLM을 RAG 백엔드와 함께 주요 작업 폴더에 연결해 놓으면, 그 구독은 더 이상 의미가 없어질 것입니다. 문서, 코드, 노트, 내보내기 파일을 로컬 벡터 스토어에 임베딩하고, 그 위에 채팅 인터페이스를 올려서 평이한 언어로 질문할 수 있습니다. 파일 내용에 따라 파일을 찾고, 답변과 파일 경로를 얻을 수 있습니다. 물론 X1 Search 같은 앱이나 Fluent Search, Command Palette 같은 무료 대안으로 훨씬 더 좋은 UI를 경험할 수 있겠지만, 로컬 LLM은 경쟁 제품보다 훨씬 더 많은 일을 할 수 있습니다.

로컬 AI 사용 비용

생각만큼 높지 않아요

설정하는 데 시간과 인내심만 필요할 뿐, 실제로 비용을 지출할 필요는 없습니다. 즉, 적절한 모델을 실행할 수 있는 기계가 있다면 됩니다. AI 모델을 실행하기 위해 최고급 하드웨어가 필요하지도 않습니다. 중간급 시스템에서 RAM 16GB와 VRAM 약 6GB의 GPU가 있다면, Ollama를 통해 7B 또는 13B 양자화 모델(LLaMA 3, Mistral, Qwen 등)을 사용하여도 충분히 잘 작동할 수 있습니다. TOPS가 무엇을 의미하는지 안다면, 45 TOPS PC를 사용하면 도움이 됩니다.

비용이 들지 않는 것은 매달 요금이나, 모르는 회사와의 데이터 계약, 혹은 파일을 낯선 사람의 서버에 업로드한 후 무슨 일이 일어날지 걱정하는 불안감입니다. 과거에는 로컬 AI를 사용하려면 기술적 전문 지식과 비싼 하드웨어가 필요했지만, 이제는 과거 이야기입니다. 로컬 LLM의 혜택을 컴퓨터에서 누릴 수 있는 앱이 많이 있으며, 로컬 LLM이 클라우드 모델만큼 잘 수행할 수 있는 작업도 있습니다.

직접 실행할 수 있는 AI에 돈을 쓰지 마세요

알고 보니 내 파일이 그것을 읽는 앱들보다 똑똑했어

이 모든 것은 AI나 SaaS에 반대하는 것과 관련이 있는 것이 아닙니다. 물론 훌륭한 AI 서비스와 소프트웨어가 있으며, 모두 그들이 부과하는 구독료만큼의 가치가 있습니다. 하지만 유료 도구가 단순히 AI 모델을 클라우드에 호스팅하고 파일을 읽는 것이라면, 그 기능을 로컬 컴퓨터에서 복제할 가능성이 있습니다.

AI 모델은 쉽게 당신의 하드웨어에서 실행될 수 있고, 파일은 당신의 디스크에 그대로 남아 있을 수 있으며, 구독은 취소할 수 있습니다. 이러한 서비스 설정에는 약간의 조정만 필요하며, 많은 작업 흐름에서 편리함과 개인정보 보호의 이점은 그만한 노력이 충분히 가치 있습니다.