LM Studio의 3가지 오픈소스 대안을 시도해봤습니다—제가 계속 사용할 것은 이것입니다

LM Studio는 컴퓨터에서 대형 언어 모델(LLM)을 로컬로 실행할 수 있는 인기 있는 앱입니다. 모델을 다운로드하고 LM Studio에서 로드한 후 채팅을 시작할 수 있습니다. LM Studio만 선택할 수 있는 것은 아니며, 저는 세 가지 오픈 소스 대안을 시험해 보았고, 각각은 다른 방식으로 유용했습니다.

Jan.ai는 가장 직접적인 LM Studio 대안입니다

모델을 다운로드하고 대화를 시작하세요

만약 LM Studio의 직접적인 대체제를 찾고 있다면, 제가 시도해본 세 가지 중에서 Jan.ai가 가장 좋은 선택입니다. 제대로 된 데스크톱 앱 같은 느낌이 들고, 설치했을 때 기본 Jan 모델을 자동으로 다운로드했으며, ChatGPT나 Claude와 마찬가지로 바로 채팅을 시작할 수 있었습니다.

모델이 로드되면서 첫 번째 응답은 나타나는 속도가 다소 느렸지만, 그 이후로는 제 MacBook Air M2에서 RAM이 8GB밖에 없음에도 불구하고 응답 속도가 꽤 빨랐습니다. 기본 모델은 대부분 괜찮았지만, 제가 가장 먼저 알고 싶었던 것 중 하나인 Jan.ai 앱 사용 방법에 대해서는 답답할 정도로 거의 알지 못했습니다.

기본 모델은 일반적인 채팅에는 괜찮지만, 다른 모델을 다운로드하여 실행할 수도 있습니다. LM 스튜디오에서 작동하는 방식과 유사하게 허브에서 모델 목록을 찾아볼 수 있습니다. 일부 모델을 제대로 실행하는 데 문제가 있었는데, Apple Silicon에 최적화된 MLX 모델이 로드되지 않아 이전 버전으로 다운그레이드해야만 작동하게 되었습니다.

LM Studio와 마찬가지로, 챗봇이 어떻게 반응해야 하는지를 결정하는 사용자 지정을 추가할 수 있습니다. Jan.ai에서는 채팅 내에서 호출할 수 있는 사용자 지정 지침이 있는 어시스턴트를 생성하여 이를 수행합니다. 자신의 컴퓨터에서 실행되는 로컬 챗봇을 비교적 간단하게 설정하려면 Jan.ai가 좋은 선택입니다.

Ollama는 홈 서버에 가장 좋은 선택입니다

이것은 AI 앱이라기보다 인프라에 더 가깝습니다

Ollama는 Jan.ai나 LM Studio와는 꽤 다른 존재입니다. 앱을 실행하면 익숙한 AI 채팅봇 인터페이스가 나타나지만, 실제 기능이 거의 없는 것이 눈에 띕니다. 메뉴에는 새 채팅(New Chat)과 실행(Launch) 두 가지 옵션이 있으며, 채팅 창에는 소수의 다운로드 가능한 모델과 클라우드 모델이 있는 드롭다운이 있습니다.

나열된 모든 다운로드 가능한 모델은 RAM 8GB의 M2 MacBook Air에서 작동하기에는 너무 컸기 때문에, 기본적으로 이 앱은 로컬 LLM을 실행하는 데 사실상 쓸모가 없었습니다. 앱의 모델 관리는 제한적이며, 더 많은 작업을 하고 싶다면 명령줄 인터페이스를 사용하는 것이 더 낫습니다.

터미널에서 다른 모델을 설치하고 Ollama 앱에서 사용하거나 터미널에서 직접 대화할 수 있지만, 이것이 Ollama의 진정한 목적은 아닙니다. 주로 챗봇 앱으로 설계된 것이 아니라, 로컬 모델을 실행하고 관리한 후 로컬 API를 통해 접근할 수 있는 도구입니다.

저는 Ollama를 사용하여 제 Mac에서 로컬 LLM을 실행하고 다른 앱과 서비스가 그것과 소통하도록 할 수 있습니다. 예를 들어, Ollama에서 실행 중인 로컬 LLM을 Home Assistant의 대화 에이전트로 사용할 수 있어서, 제 데이터가 집을 떠나지 않아도 제 음성 비서에게 AI 기반 능력을 제공할 수 있습니다.

AnythingLLM은 문서 작업에 적합합니다

귀하의 노트와 파일을 위한 개인 비서를 만드세요

AnythingLLM은 로컬 LLM을 사용하는 또 다른 방법입니다. AnythingLLM의 주요 초점은 자신의 문서와 데이터로 작업할 수 있는 어시스턴트를 만드는 데 도움을 주는 것입니다. 핵심 기능으로는 로컬 검색 강화 생성(RAG)이 포함되어 있으며, 이를 통해 PDF, 워드 문서, 텍스트 파일 등과 같은 파일을 업로드한 후 그 내용에 대해 챗봇과 대화할 수 있습니다.

예를 들어, 저는 게임 세틀러스 오브 카탄의 규칙을 업로드한 다음 챗봇에게 가장 큰 군대를 가졌을 때 몇 점의 승점을 얻는지, 도로를 건설하려면 어떤 자원이 필요한지와 같은 질문을 할 수 있었고, 챗봇은 PDF에서 정보를 가져올 수 있었습니다. 문제는 제 Mac에서는 응답 속도가 매우 느렸고, 이것은 단일 PDF만 검색하는 경우였습니다. 더 많은 문서가 있으면 제 하드웨어에서는 금방 사용할 수 없게 될 것입니다.

AnythingLLM은 클라우드 기반 모델과도 함께 사용할 수 있으며, 모델을 결합할 수도 있습니다. 예를 들어, 저는 로컬 LLM을 사용하여 은행 명세서에서 개인 정보를 삭제한 후 클라우드 모델을 사용해 이를 분석할 수 있습니다. 또한 웹 스크래핑 기능도 갖추고 있지만, 제가 Deku Deals에서 최신 게임 할인 정보를 찾도록 시도했을 때는, 그냥 그것을 할 수 없다고 솔직하게 말했습니다.

또한 어떤 앱을 사용하든 호출할 수 있는 팝업 어시스턴트가 있어서, 사용 중인 앱의 스크린샷을 찍어 그에 대해 질문할 수 있습니다. 제 MacBook Air에서는 너무 느려서 전혀 쓸모가 없었습니다. 더 좋은 하드웨어를 가지고 있다면 AnythingLLM이 정말 유용할 수 있겠지만, 제 Mac은 그 작업을 수행하기에는 적합하지 않습니다.

저는 올라마를 계속 사용하고 있습니다

그것은 진정한 LM 스튜디오 대안이라고 할 수 없다

세 가지를 모두 시험해본 후에 제가 선택할 것은 올라마(Ollama)입니다. 모델을 쉽게 불러오고 대화를 시작하는 측면에서는 아마 LM 스튜디오와 가장 덜 비슷할지 모르지만, 제 필요에는 가장 유용합니다.

기본적으로 비용을 지불하지 않고도 LLM에 대한 API 접근을 제공합니다. 비록 제가 비교적 가벼운 모델만 사용할 수 있지만, 여전히 몇 가지 유용한 작업을 수행할 수 있습니다. 예를 들어, n8n 자동화에서 제가 전달하는 데이터를 Notion 데이터베이스로 보내기 전에 정리하는 데 사용할 수 있으며, 제 데이터가 로컬 네트워크 외부에 노출될까 걱정할 필요가 없습니다.

로컬 LLM은 개인정보 보호의 은혜입니다

만약 하드웨어가 그리 좋지 않다면, 로컬 LLM은 인기 있는 클라우드 기반 LLM의 성능을 따라잡지 못할 것입니다. 그러나 성능에서 잃는 것은 프라이버시에서 얻습니다.