나는 ChatGPT 비용 지불을 중단하고 누구나 실행할 수 있는 개인 AI 설정을 만들었다

최근 들어 로컬에서 LLM을 실행하는 것에 정말 빠지게 되었고, MCP 도구로 할 수 있는 모든 멋진 것들을 본 후에, 내 자신의 환경도 조금 업그레이드할 때가 된 것 같다고 생각했다.

저는 처음에 DeepSeek R1이 출시되었을 때 열광적으로 참여했지만, 그 이후로 많은 새로운 모델들이 나왔습니다. 모든 것이 빠르게 변하고 있는 상황에서 제 워크플로우도 개선하는 것이 당연하다고 생각했습니다.

LM 스튜디오는 내가 사용해본 최고의 지역 LLM 앱입니다 (지금까지)

Ollama는 좋지만, 나는 이것이 더 좋아요

저는 작년에 Ollama를 사용하여 지역 LLM을 처음 실험하기 시작했습니다. 꽤 잘 작동했지만, 통합 메모리 8GB뿐인 제 불쌍한 MacBook Air는 확실히 그 정도의 작업량을 처리하도록 만들어지지 않았습니다. 저는 여전히 호기심 때문에, 그리고 성능을 더 끌어낼 수 있는지 확인하기 위해 다른 것을 시도해보고 싶었습니다.

그래서 저는 LM Studio를 시도해보기로 결정했습니다. 이 앱은 LLM을 로컬에서 다운로드하고 실행할 수 있게 해주며, 깔끔한 UI도 제공합니다. 제가 Mac을 사용하고 있기 때문에 MLX 지원은 저에게 큰 의미가 있었습니다. 익숙하지 않으시다면, MLX는 Apple 실리콘을 위해 특별히 설계된 Apple의 머신러닝 프레임워크입니다.

본질적으로 이것은 모델이 GPU를 사용하여 더 효율적으로 실행되도록 합니다. 하지만 여전히 나는 이 말을 숫자로 표현하고 싶어서, 같은 모델을 사용하여 Ollama와 LMStudio를 직접 비교했습니다.

저는 LM 스튜디오로 초당 더 많은 토큰을 얻고 있었지만, 그 차이가 너무 작아서 전체적인 경험에는 큰 변화를 주지 않았습니다. 그래도 가능한 한 성능을 더 높일 수 있다면 좋습니다.

즉, Ollama를 선택하든 LM Studio를 선택하든 큰 차이는 없다고 생각합니다. 특히 두 가지 모두 로컬에서 모델을 실행하기 위해 유사한 기본 프레임워크를 사용하기 때문입니다.

처음 시작했을 때 제가 가장 불만이었던 점은 멀티모달 지원의 부족이었습니다. 하지만 지금은 더 이상 큰 문제가 되지 않습니다. Ollama와 LM Studio 모두 이제 멀티모달 모델을 지원하며, 로컬 하드웨어에서 텍스트와 이미지를 놀랄 만큼 잘 처리할 수 있는 몇 가지 훌륭한 옵션이 있습니다.

올바른 모델을 선택하는 것은 조금 까다로울 수 있습니다

비용이 많이 드는 취미가 될 수 있습니다

LM Studio를 처음 설치하면 가장 먼저 해야 할 일은 모델을 선택하는 것입니다. 이것은 처음 접하는 사람에게 다소 압도적으로 느껴질 수 있는데, 명확하게 '이것만 사용하세요'라고 말할 수 있는 답이 없기 때문입니다. 올바른 선택은 실제로 당신의 하드웨어에 달려 있습니다.

LM 스튜디오에서 모델 검색 메뉴를 열면 가장 인기 있는 모델 목록을 볼 수 있습니다. 모델이 얼마나 요구가 높은지 이해하는 간단한 방법은 이름에서 'B' 바로 앞의 숫자를 보는 것입니다.

그 "B"는 수십억 개의 파라미터를 나타냅니다. 일반적으로 그 숫자가 높을수록 모델의 성능이 더 뛰어난 경향이 있습니다. 이는 더 많은 자원이 필요함을 의미하기도 합니다. 8GB 통합 메모리를 가진 Mac에서는 30억에서 40억 파라미터 정도가 가장 적절하다고 느낍니다. PC에서는 상황이 조금 더 혼란스러울 수 있습니다. 일반 시스템 RAM 대신, 중요한 것은 VRAM의 용량입니다.

VRAM이 8GB라면, 특히 더 가벼운 양자화에서는 7B 파라미터 모델을 편안하게 실험할 수 있습니다. 제 경험상 가장 좋은 접근법은 작은 모델부터 시작해서 점차 위로 이동하며 최적의 지점을 찾는 것입니다.

개인적으로 저는 구글의 제미니 모델과 동일한 기반 위에 구축된 Gemma 3 4B 모델 쪽으로 더 끌렸습니다. 그렇긴 하지만, 저는 여전히 Qwen 모델도 한 번 시도해보는 것을 추천합니다. 무엇을 하느냐에 따라, 그것들이 당신에게 훨씬 더 나을 수도 있습니다.

로컬 LLM에 웹 검색 기능을 추가할 수도 있습니다

덕덕고가 구원에 나선다

제가 지역 LLM에 대해 본 가장 큰 불만 중 하나는 웹 검색에 관해서 클라우드 모델인 ChatGPT와 비교할 때 얼마나 제한적으로 느껴질 수 있는지입니다. 최신 아이폰에 대해 물어봤는데 LLM이 아이폰 14에 대해 떠들기 시작하면 별로 도움이 되지 않습니다. 그 점에서 클라우드 모델이 보통 우위를 점했던 영역입니다.

LM Studio에는 내장된 플러그인 시스템이 있으며, 웹 검색 추가는 꽤 간단합니다. DuckDuckGo 플러그인 페이지로 이동한 다음 LM Studio에서 실행을 선택하면 됩니다.

활성화되면 모델을 실행할 때마다 채팅 상자 아래에 DuckDuckGo를 사용하여 쿼리를 실행할지 묻는 옵션이 표시됩니다. 이를 켜면 LM Studio가 실시간 검색 결과를 가져와 모델이 응답을 생성하기 전에 이를 모델에 제공합니다.

하지만 플러그인으로 할 수 있는 것은 그것만이 아닙니다. LM 스튜디오 팀은 또한 매우 유용한 몇 가지 플러그인을 만들었습니다. 예를 들어, 그들은 당신의 LLM이 위키피디아에서 글을 읽고 검색할 수 있게 해주는 위키피디아 플러그인을 가지고 있습니다 (당연하죠).

자바스크립트 샌드박스 플러그인도 있는데, 만약 분위기 코딩에 관심이 있고 빠르게 대략적인 아이디어를 만들어 보고 싶다면 매우 유용할 수 있습니다. 하지만 그것으로 실제로 배포할 수 있는 수준의 것을 만들 만큼 가치가 있다고는 말하지 않겠습니다.

기업을 버려라

LM Studio를 설정하면 휴대폰에서 LLM에 접근할 수 있지만, 모든 추론을 직접 휴대폰으로 옮기고 싶다면 그것도 가능합니다. 작은 LLM은 안드로이드 휴대폰에서 실행할 수 있지만, Mac에서 얻는 것만큼 강력하지는 않을 것입니다.

그럼에도 불구하고, 이러한 경량 모델들은 놀라울 정도로 빠른 속도로 발전하고 있습니다. 하드웨어 비용이 상승할 것으로 예상됨에 따라, OpenAI나 Google과 같은 회사들이 구독료를 인상하더라도 놀라지 않을 것입니다. 이런 상황에 영향을 받지 않는 환경을 갖추고 있다는 것은 안심이 됩니다.