이제 더 이상 Perplexity가 필요 없어요. 제 로컬 LLM이 더 잘하기 때문이에요.

저는 거의 1년 동안 Perplexity AI Pro를 매달 20달러씩 내고 있습니다. 실시간 웹 검색, 인용 자료, 그리고 세련된 웹 인터페이스를 갖추고 있어 연구가 수월하게 이루어졌다는 점에서 당연하게 느껴졌습니다. 하지만 누구나 로컬 LLM의 이점을 누릴 수 있는 앱들이 있다는 점을 고려하면, 대부분의 작업에 Perplexity를 로컬 LLM으로 대체할 수 있다는 것을 알게 되었습니다.

이것은 클라우드 서비스를 무조건 거부하는 것은 아니다. 퍼플렉시티는 여전히 실시간 웹 검색과 여러 출처를 즉시 종합하는 데 뛰어나다. 하지만 내가 일상 업무—코드 리뷰, 문서 작성, 데이터 분석, 기술 문제 해결—를 살펴보았을 때, 내 로컬 환경은 비용을 요구하지 않으면서도 더 빠르고, 더 개인적이며, 점점 더 유능한 결과를 제공한다.

내 로컬 LLM 설정과 내가 그것을 만든 이유

내 컴퓨터에서 Perplexity를 대체한 스택

내가 지역 LLM 탐구를 시작한 계기는 Ollama였다. 이 도구는 오픈소스이며, 로컬에서 LLM을 실행하는 표준이 되었다. Windows 설치도 몇 분밖에 걸리지 않는다. 나는 이를 GUI 프론트엔드로 LM Studio와 함께 사용했지만, 단독 AI 앱으로도 사용할 수 있다. 로컬 AI의 혜택을 누릴 수 있는 다른 앱들도 많이 있으니, 원하는 것을 선택하면 된다.

제 하드웨어도 최고급은 아닙니다. 저는 8GB RTX 4060, 16GB LPDDR5X 메모리, 인텔 코어 울트라 7이 장착된 노트북을 사용하고 있습니다. 이 하드웨어로는 즉각적인 결과를 얻거나 고급 모델을 실행할 수는 없지만, Qwen 2.5 Coder 32B 같은 모델을 적절하게 실행할 수 있는 정도는 됩니다.

말이 나와서 말인데, 저는 앞서 언급한 모델을 4비트 정밀도로 양자화하여 사용하고 있습니다. 제 8GB VRAM에서도 무리 없이 실행되며, 초당 25~30 토큰 속도로 코드를 생성합니다. Python, VBA, PowerShell뿐만 아니라 필요한 거의 모든 프로그래밍 언어를 처리할 수 있습니다. 이 모델은 128k 토큰 컨텍스트 창을 사용하여 기존 코드를 설명할 수도 있습니다.

일반적인 작업에는 Llama 3.1 70B와 DeepSeek R1 증류 모델을 번갈아 사용합니다. 품질 차이도 크게 줄었습니다. 이는 자가 호스팅 시 클라우드 비용의 일부만으로 소비자용 하드웨어에서 GPT-4 수준의 성능을 얻을 수 있다는 것을 의미합니다.

지역 LLM이 퍼플렉시티를 완전히 압도하는 곳

개인정보 보호, 제어, 무제한 요금

개인정보 보호가 즉각적인 이점입니다. 모든 독점 코드는 내 컴퓨터에만 남아 있습니다. 제 쿼리에 대한 서드파티 서비스 로그가 없습니다. 의료, 법률, 금융과 같이 데이터 거주 요건이 있는 산업에서는 HIPAA나 GDPR 준수 문제를 없애줍니다.

비용 경제학도 큰 역할을 합니다. 제 노트북은 새 것으로 약 1,600달러 들었습니다. 그건 Perplexity Pro를 80개월간 이용할 수 있는 금액이고, 같은 가격으로 거의 모든 다른 일도 할 수 있습니다. 또한 클라우드 API에서는 매달 수백 달러가 드는 쿼리도 실행합니다.

오프라인 기능은 필요할 때까지는 별것 아닌 것처럼 들립니다. 저는 안정적인 인터넷 연결 없이도 언제 어디서나 AI에 접근할 수 있습니다. 연결 문제도 없고, Wi-Fi 속도 제한도 없으며, 사용량 제한 걱정도 없습니다.

성능은 마법이 아니다

좋은 것, 나쁜 것, 그리고 GPU를 많이 사용하는 것

로컬 LLM은 절대적인 속도 면에서는 느립니다. 제 Qwen 2.5 인스턴스는 초당 25~30개의 토큰을 생성하는데, 이는 클라우드 기반 GPT-4가 내보낼 수 있는 양의 거의 절반입니다.

하지만 제 특정 작업 흐름에는 거의 중요하지 않습니다. 코드를 검토하거나 문서를 작성할 때는 모델을 기다리지 않습니다. 책을 읽고 생각하고 있어요. 여기서 병목 현상은 토큰 생성이 아니라 제 이해에 있습니다. 초당 25토큰 응답을 500토큰 설명에 대해 하는 경우, 로컬 LLM은 평소보다 몇 분 더 걸립니다.

지연 시간도 다른 이야기를 들려줍니다. 클라우드 서비스는 네트워크 오버헤드 측면에서 지연을 추가할 수 있습니다. 반면 로컬 AI는 즉시 작업을 완료합니다. 빠른 반복이 필요한 인터랙티브 코딩 지원에 있어 이러한 응답성은 훌륭합니다. VS Code용 로컬 코딩 AI를 만들었을 때 얻었던 이점과 동일합니다.

퍼플렉시티가 여전히 명확한 우위를 가진 곳

실시간 웹 검색이 가장 그리울 거예요

실시간 웹 검색은 여전히 Perplexity의 가장 뛰어난 기능입니다. 현재 규제 요구사항, 최신 API 문서, 또는 인용과 함께 집계된 정보를 몇 초 만에 찾아야 할 때 유용합니다. 무료 챗봇을 쌓아서 AI 비용을 지불하지 않을 수도 있지만, Perplexity를 대체하기는 어렵습니다.

로컬 LLM은 오픈 WebUI 통합을 통해 웹 검색을 수행할 수 있지만, 설정 복잡성이 크게 증가합니다. Perplexity는 또한 멀티모달 작업을 더 잘 처리하며, GPT-4 비전과 Claude 3를 통해 이미지 분석 및 문서 처리를 지원합니다. 제 로컬 환경은 텍스트 처리에는 뛰어나지만, 이미지 처리는 차량에 따라 별도의 도구가 필요합니다.

환각 문제는 언급할 가치가 있습니다. 퍼플레시티는 인용이 있음에도 잘못된 정보를 제공할 수 있습니다. 로컬 LLM도 환각을 일으키지만, 실시간 사실 확인이 없으면 오류를 잡으려면 더 많은 경계가 필요합니다.

무시할 수 없는 트레이드오프가 있습니다

비용 vs 편리함 vs 기능

로컬 LLM을 실행하는 것도 숨겨진 비용이 어느 정도 있습니다. 전용 머신을 24시간 운용해야 하기 때문에 전기 요금이 올라갈 것입니다. 모델 다운로드만 해도 제 저장 드라이브에서 거의 100GB를 차지합니다.

유지보수도 전적으로 여러분에게 달려 있습니다. 드라이버 충돌, VRAM 할당 문제, 소프트웨어 호환성 문제는 스스로 진단해야 합니다.

그럼, 퍼플렉시티를 버리고 로컬 LLM을 사용해야 할까요?

만약 계산 능력이 충분하다면, 로컬 AI도 진지한 경쟁자가 될 수 있습니다

당장 Perplexity를 취소하고 로컬 LLM 경로로 가려 하기 전에, 제 설정은 제 특정 요구에 맞춰져 있다는 점을 기억하세요. 더 많은 용량이나 성능이 필요하다면, 더 큰 모델을 사용해야 할 것입니다.

저는 Perplexity를 매일 사용하던 것에서 특정 질문에만 사용하는 수준으로 낮췄고, 아마 곧 무료 요금제로 전환할 것 같습니다. 문제는 로컬 LLM이 웹 서비스를 대체할 수 있느냐가 아니라, 일상적인 업무에 실시간 웹 접근이 필요한지, 아니면 약간 오래된 데이터를 대상으로 더 빠르고 개인적이며 무제한 추론을 하는 것이 더 나은지입니다.