저는 집에 개인 AI 서버를 구축했고 이제 모든 기기가 그것에 연결됩니다

최근에 지역 LLM에 꽤 깊이 빠져 있었고, 전반적으로 매우 좋은 경험이었습니다. 심지어 잠시 동안 제 휴대폰에서 직접 모델을 실행해 보기도 했는데, 작동은 되지만 꼭 이상적인 것은 아니었습니다.

더 나은 설정이자 내가 계속해서 선택하게 되는 것은 오로지 추론용 전용 기계를 두는 것입니다. 한 대의 기계가 계속 켜져 있고, 모든 무거운 작업을 처리하며, 집안의 다른 모든 장치는 그 기계에 연결됩니다. 집에서 만든 설정 중 이것이 지금까지 가장 좋은 것입니다.

시작하기 전에 몇 가지 준비물이 필요합니다

그것은 비용이 많이 드는 취미이다

무엇보다 먼저, LLM을 실행할 전용 기기가 필요합니다. 하루 종일 켜져 있는 기기가 필요합니다. 왜냐하면 당신이 응답을 원할 때마다 당신의 전화기와 노트북이 바로 그 기기에 접근하게 될 것이기 때문입니다. 이를 당신만의 작은 AI 서버라고 생각하면 됩니다.

문제는 옷장에 먼지를 쌓고 있는 오래된 노트북은 아마도 충분하지 않을 것이라는 점입니다. LLM은 로컬에서 실행하기에 매우 고사양을 요구하며, 작은 모델조차도 오래된 하드웨어에서는 느리게 느껴질 수 있습니다. 이것이 아마도 대부분의 사람들이 겪게 될 가장 큰 장애물일 것입니다.

처음부터 시작하면서 가성비를 가장 중요하게 생각한다면 최소 16GB의 통합 메모리를 갖춘 Apple Silicon Mac Mini가 뛰어난 선택입니다. Apple Silicon이 메모리를 처리하는 방식은 로컬 추론에서 성능을 훨씬 뛰어나게 만듭니다.

이미 오래된 게이밍 노트북이나 약 8GB VRAM을 가진 GPU가 있는 어떤 기계가 있다면, 그것만으로도 시작하기에 충분합니다. 단, 더 무거운 모델을 실행하기 시작하면 업그레이드를 원하게 될 가능성이 있다는 점은 알아두세요. 그것이 당신에게 맞을지 알아볼 수 있는 유일한 방법은 직접 다양한 모델을 테스트해보고 (나중에 더 자세히 다룰 예정) 자신에게 충분한지 확인하는 것입니다.

Ollama는 로컬 LLM 실행을 손쉽게 만들어줍니다

그냥 모델을 다운로드하고 실행하세요

기계를 가동하고 나면, 그 위에서 실제로 LLM을 실행할 방법이 필요합니다. 이를 할 수 있는 몇 가지 앱이 있지만, 저는 개인적으로 Ollama를 선호하며, 현재까지 표준으로 널리 사용되고 있습니다. Ollama는 모든 추론을 처리해 주기 때문에, 사용자는 모델을 선택하고 바로 시작하면 됩니다.

하지만 무엇이든 실행하기 전에 어떤 모델이 자신에게 맞는지 알아내야 합니다. 간단한 대답은 이것이 당신의 기계가 가진 메모리 양에 달려 있다는 것입니다. 파라미터는 기본적으로 모델이 얼마나 복잡한지를 측정하는 척도이며, 숫자가 높을수록 일반적으로 더 똑똑하지만 자원 소모도 많습니다. 대략적인 기준으로, 7B 파라미터 모델은 약 8GB 메모리에서 실행할 수 있습니다.

이 글을 쓰는 시점을 기준으로, 좋은 출발점을 원한다면 Hugging Face에서 Gemma 4 모델 계열을 살펴보는 것을 추천합니다. 같은 모델이 서로 다른 파라미터 크기로 제공되므로, 실험을 통해 어떤 구성이 하드웨어에서 속도와 품질의 균형을 가장 잘 맞추는지 확인할 수 있습니다.

모델을 선택한 후에는 터미널에서 한 명령어만 실행하면 모델을 실행할 수 있습니다(모델 이름을 실제 모델 이름으로 바꾸는 것을 잊지 마세요).

ollama run modelname

그것은 모델을 다운로드하고 바로 대화로 들어가게 합니다. Ollama를 다른 기기에 연결하기 전에 다양한 모델을 테스트해보기에 좋은 시기라고 저는 제안합니다.

당신이 소유한 어떤 장치에서도 작동하게 만들 수 있습니다

집 밖에서도 작동합니다!

이제 서버에서 LLM을 실행하고 있으므로 그것과 대화할 수 있습니다! 하지만 아직 완전히 끝난 것은 아닙니다. 이 전체 설정은 휴대폰이나 다른 장치에서 접근할 수 없다면 거의 쓸모가 없습니다.

여기서 Tailscale이 등장합니다. Tailscale은 모든 기기 간에 사적이고 암호화된 네트워크를 생성하여, 전화기, 노트북, 서버가 실제로는 그렇지 않더라도 모두 같은 로컬 네트워크에 있는 것처럼 인식하게 합니다. 서버는 공용 인터넷에 전혀 접속하지 않으며, 노출되어서는 안 되는 것이 공개되지 않습니다. 설정하는 데 약 5분 정도 걸립니다. 연결하려는 모든 기기에 설치하고, 로그인하면 기본적으로 끝납니다.

사용자 인터페이스를 위해 나는 Ollama를 Open WebUI와 결합했다. 기본적으로 Ollama에 접근하고 대화할 수 있는 프론트엔드이며 동시에 ChatGPT와 유사한 인터페이스를 제공한다.

모든 설정을 마쳤다면, 동일한 Tailscale 계정을 사용하는 어떤 장치에서든 Tailscale IP 주소만 입력하면 끝입니다! 이제 자신만의 장치에서 로컬 LLM이 실행되고 있으며, 소유한 어떤 장치에서도 접근할 수 있습니다.

모든 것을 걸기 전에 알아두면 좋은 몇 가지가 있습니다

기대치를 조절하세요

이 일에 너무 깊이 들어가기 전에 몇 가지 기대치를 설정하는 것이 좋습니다. 로컬에서 실행하는 모델은 일반 소비자용 하드웨어에서 ChatGPT나 Claude의 모델만큼 능력이 뛰어나지 않을 것입니다. 무언가를 요약하거나 이메일을 작성하거나 질문에 답하는 등 대부분의 일상적인 작업에서는 그 차이를 거의 느끼지 못할 것입니다. 하지만 심층적인 추론이나 복잡한 다단계 작업이 필요한 경우에는 그 차이를 느끼게 될 것입니다.

더 큰 모델을 실행함으로써 그 격차를 줄일 수 있습니다. Qwen 3.5 35B와 같은 모델은 클라우드 모델 품질에 실제로 근접합니다. 하지만 하드웨어가 그것을 편안하게 실행할 수 있을 정도가 되면, 아마 수천 달러를 이미 지출했을 것입니다. 따라서 실제로 필요한 것과의 균형을 찾는 것이 정말 중요합니다.

알아둘 만한 또 다른 점은 이 모든 것이 작동하려면 서버가 켜져 있어야 한다는 것입니다. 컴퓨터가 절전 모드로 들어가거나 전원이 나가면 모든 장치가 접근할 수 없게 됩니다. 일상적으로 신뢰할 수 있게 사용하려면 절대 절전 모드로 하지 않는 것이 좋습니다.

이 모든 것이 개인적으로는 나에게 큰 문제는 아니지만, 당신에게는 문제가 될 수도 있습니다. 이것은 완전히 개인적이고 초기 하드웨어 구매 후에는 운영 비용이 들지 않으며 완전히 당신의 소유인 것을 위해 감수해야 하는 대가입니다.

그만한 가치가 있나요? 절대적으로

로컬 LLM은 실제로 클라우드 LLM에 의존할 수 있는 많은 일상적인 작업을 수행할 수 있습니다. 하드웨어 비용을 지불하면 더 이상 월간 구독료를 낼 필요가 없습니다. 게다가 입력한 내용이 집을 떠나지 않는다는 사실까지 고려하면, 이 구성은 반대하기 어려워 보이기 시작합니다. 실행하는 데는 반나절 정도 걸리며, 일단 설정되면 그냥 작동합니다.