이 오픈 소스 대안을 찾은 후 LM Studio 사용을 중단했습니다

LM Studio는 제가 발견한 이후로 로컬 LLM을 실행할 때 항상 사용하는 앱입니다. 사용하기 쉽고, UI가 잘 다듬어져 있으며, 터미널을 한 번도 다뤄본 적이 없더라도 몇 번의 클릭만으로 어떤 AI 모델이든 실행할 수 있습니다. 로컬 LLM의 혜택을 누리고 싶다면 최고의 도구 중 하나입니다.

하지만 LM 스튜디오는 무료로 사용할 수 있지만 오픈 소스는 아닙니다. 일부 구성 요소, 특히 명령줄 도구는 오픈 라이선스를 가지고 있지만, 앱 자체는 독점 소프트웨어입니다. 로컬 AI 워크플로의 핵심에 쉽게 자리잡을 수 있는 도구에서 상위 회사들이 원할 때마다 라이선스가 변경될 위험을 감수하는 것은 저에게 불편한 위험이었고, 그때 저는 Jan을 발견했습니다.

나는 LM 스튜디오가 그리울 줄 알았다. 그렇지 않았다.

왜 Jan이 LM 스튜디오의 진짜 대체물처럼 느껴지는지

결국 저에게 LM Studio를 대체하게 된 대안은 Jan입니다. 이것은 데스크톱 애플리케이션으로, LM Studio와 마찬가지로 LLM을 완전히 오프라인에서 실행할 수 있게 해줍니다. 하지만 Jan은 완전히 무료일 뿐만 아니라 오픈 소스이며, 모든 소스 코드는 GitHub에서 확인할 수 있습니다. 라이선스 관련 놀라움, 독점적 종속, 걱정해야 할 숨은 조항이 전혀 없습니다.

인터페이스는 ChatGPT와 매우 비슷하며, 이것은 취향에 따라 좋거나 나쁜 점일 수 있습니다. 하지만 로컬 LLM 개념에 처음 접하는 사람에게는 익숙하고, 깔끔하며, 친근하게 느껴질 것입니다. Jan은 로컬 AI를 모두가 쉽게 접근할 수 있도록 만들기 위해 제작되었기 때문에, ChatGPT를 모방한 UI 디자인은 우연이 아닙니다. 채팅 창, 모델 허브, 개발자 수준의 전문 지식 없이도 이해할 수 있는 설정 페이지를 제공합니다.

LM 스튜디오에서 전환하는 경우 모델 라이브러리도 익숙하게 느껴질 것입니다. 앱 내에서 Llama, Gemma, Mistral, Qwen, DeepSeek 등과 같은 인기 있는 오픈 소스 모델을 직접 찾아보고 다운로드할 수 있습니다. 모델에는 또한 하드웨어에서 원활하게 실행될 수 있는지, 혹은 다소 부담이 될 수 있는지 여부를 알려주는 태그가 붙어 있습니다.

Jan에는 OpenAI 호환 API 서버도 포함되어 있습니다. 이는 Cursor, Open WebUI, 사용자 정의 스크립트 등 다른 도구를 Jan의 로컬 서버로 연결하여 OpenAI의 API와 통신할 때처럼 그대로 실행할 수 있음을 의미합니다. 이는 OpenAI의 실제(그리고 유료) API와 인터페이스를 시작하기 전에 코드와 프로토타입을 테스트하는 데 매우 유용합니다. 또한 이 서버는 기본적으로 CORS(교차 출처 리소스 공유)를 지원하므로 웹 프로젝트에 쉽게 연결할 수 있습니다.

성능은 사용 중인 모델에 따라 달라지지만, LM Studio와도 상당히 유사합니다. 토큰 사용량도 LM Studio와 크게 다르지 않으며, 기본 추론 엔진도 본질적으로 동일합니다. 또한 앱의 기능을 확장하고 싶을 경우를 대비해 내장 확장 기능도 제공됩니다.

개인정보 보호 혜택은 실제로 의미가 있습니다

로컬 모델, 클라우드 없음, 놀라움 없음

AI를 로컬에서 실행하는 것은 이미 프라이버시를 중시하는 선택입니다. 하지만 Jan을 사용하면 한 단계 더 나아갈 수 있습니다. 사용자의 선호도, 채팅 기록, 모델 매개변수, 모델 자체 등 모든 것이 사용자 기기에 남아 있습니다. 계정을 생성할 필요도 없고, 텔레메트리 데이터에 대해 걱정할 필요도 없으며, 클라우드 의존도 필요하지 않습니다. 원하면 완전히 격리된 AI 사용자 경험을 가질 수 있습니다.

이 접근 방식의 두 가지 단점은 첫째, 하드웨어가 실행할 수 있는 AI 모델로 제한된다는 것이고, 둘째, 다운로드하여 실행할 수 있는 오픈 소스 LLM이 항상 온라인 버전만큼 좋지 않을 수 있다는 것입니다. 로컬 LLM을 사용하는 것이 좋은 작업도 있지만, 모든 것을 수행할 수 있는 것은 아닙니다.

Jan은 OpenAI, Anthropic, Claude 등 원격 API를 지원하여 각각의 모델에 클라우드 액세스를 원할 경우 이를 해결할 수 있도록 합니다. 이 접근 방식은 둘 중 하나를 선택할 필요가 없습니다. 기본적으로 로컬(그리고 개인적)이지만, 작업에 클라우드 기반 모델이 필요할 때 언제든지 선택할 수 있는 옵션이 있습니다.

완벽하지 않다

당신이 금방 눈치챌 거친 가장자리들

만약 당신이 LM 스튜디오에서 전환하는 중이라면, 특히 GPU 레이어 구성에서 제공하는 세부 정보를 그리워할 것입니다. LM 스튜디오에서는 이 작업이 훨씬 시각적이고 접근하기 쉽습니다. 또한 문서 분석과 같은 기능도 더 성숙해 있습니다. Jan이 따라잡고 있긴 하지만, 모든 추론 매개변수에 대한 세밀한 조정을 원한다면 LM 스튜디오가 더 나은 선택입니다.

터미널에서 작업하는 것을 선호한다면 Ollama가 LM Studio와 Jan보다 우수합니다. 따라서 두 개의 시각적 LLM 프로그램의 시작 시간은 비슷하지만 Ollama보다는 느립니다. Jan은 경쟁 제품 중에서 중간 정도 위치에 있으며, LM Studio보다 더 투명하고 Ollama보다 훨씬 사용자 친화적입니다.

그것은 조용히 나의 기본이 되었다

왜 내가 LM 스튜디오를 완전히 열지 않게 되었는가

LM Studio에서 Jan으로 전환하는 것을 막는 것은 많지 않습니다. 학습 곡선은 거의 평평하고, 대부분의 모델과 데이터는 깨끗하게 이전됩니다. 차이는 로컬 AI 스택의 소유권에 있습니다. Jan에서는 완전히 통제할 수 있으며, 예상치 못한 방향 전환이나 라이선스 변경에 당황하지 않습니다.

실제 일상적인 사용에서는, Jan은 LM 스튜디오가 하는 모든 것을 수행하지만, 실제로 감사할 수 있는 소프트웨어에서 오는 마음의 평화를 제공합니다. 여전히 필요한 모든 제어와 이점을 얻을 수 있으며, 단지 잠재적인 번거로움이 없습니다.