저는 로컬 LLM에 대해 잘못 생각했었고, 이 4가지 신화가 그 이유였습니다

대부분의 사람들은 AI 모델을 로컬에서 실행한다는 것이 파이썬 환경, 명령 줄, 그리고 자신이 갖고 있지 않은 하드웨어와 씨름하며 주말을 보낸다는 것을 의미한다고 생각합니다. 이러한 평가는 몇 년 전에는 타당했지만, 그 이후로 도구들이 많이 발전했습니다. 저는 집에서 큰 노력 없이 개인 AI 서버를 만들 수 있다는 것을 깨달았습니다. 두려움에 기반해 가정함으로써 제가 저지른 실수를 반복하지 마세요.

인공지능을 운영하는 것은 기술 천재들만을 위한 것이 아니다

학위 없이 AI를 운영할 수 있습니다

사람들은 일반적으로 LLM이 연구자나 코딩 천재를 위한 것이라고 생각하지만, 그것은 사실이 아닙니다. 사람들이 이러한 시스템을 집 컴퓨터에서 실행하려면 복잡한 코드를 작성해야 한다고 생각하는 것은 이해할 만합니다. 이는 초기 시대의 영향을 받은 것입니다. 예전에는 클라우드가 필요했지만, 이제는 휴대폰에서도 실행할 수 있습니다.

기술의 현실이 바뀌었습니다. 오늘날 누구나 간단한 데스크톱 설치 프로그램을 사용하여 몇 분 만에 채팅을 시작할 수 있습니다. 저는 GPT4All과 같은 앱을 비기술적 사용자에게 사용하는 것을 좋아합니다. 이들은 채팅을 시작하는 가장 빠른 경로를 제공합니다. 설치 과정에는 터미널 창이나 복잡한 명령이 필요하지 않습니다. 설치 프로그램을 다운로드하고 실행한 후, 목록에서 모델을 선택하고 타이핑을 시작하면 됩니다.

LM Studio에는 모델 브라우저와 내장 채팅 UI가 있는 데스크톱 애플리케이션도 있습니다. 처음에는 로컬 AI 실행을 시도하는 것이 두려울 수 있지만, 이제 시작하는 것은 대부분 정신적인 장애물일 뿐입니다. AI에게 질문을 하기 위해 양자화 수준이나 메모리 할당의 세부 사항을 이해할 필요는 없습니다.

저장은 당신의 컴퓨터에서 가장 큰 병목 현상이 아닙니다

드라이브 공간보다 메모리 속도에 집중하세요

사람들은 LLM이 큰 저장 장치와 테라바이트 단위의 여유 하드 드라이브 공간을 요구한다고 생각합니다. 실제로는 양자화가 모든 것을 완전히 바꿨고, 로컬 AI를 위한 저장 공간 요구를 줄였습니다. 이러한 파일을 압축함으로써 Llama 3.1 8B와 같은 모델은 5기가바이트 미만의 저장 공간만 필요로 합니다. 이는 많은 비디오 게임보다 작은 용량입니다.

심지어 700억 개 매개변수를 가진 대형 모델도 40~50기가바이트 저장 공간에 들어갑니다. 빠른 SSD는 초기 로딩 시간을 줄이는 데 도움이 되지만, 기본 디스크 저장 공간과 운영 메모리 사이에는 큰 차이가 있습니다. 모델이 활성화되면, 컴퓨터에 빈 공간이 많다는 것보다 데이터 전송 속도가 훨씬 더 중요합니다.

로컬 LLM 추론에서는 VRAM 용량이 모델이 로드될 수 있는지 여부에 대한 한계처럼 작용하지만, 메모리 대역폭이 실제 토큰 생성 속도를 결정합니다. 메모리 대역폭은 순수한 연산 성능보다 대규모 언어 모델의 추론 속도를 훨씬 더 제한합니다.

AI를 호스팅하기 위해 수 테라바이트의 여유 디스크 공간이 필요하지 않습니다. 대신, 하드웨어가 모델을 담을 수 있는 VRAM 용량을 갖추고 있는지 확인할 필요가 있을 것입니다.

로컬 모델이 사람들이 주장하는 만큼 나쁘거나 멍청하지 않다

그들은 당신이 생각하는 것보다 빠르고 똑똑합니다

소비자용 노트북에서 실행되는 모델이 유료 클라우드 서비스의 대규모와 경쟁할 수 없다고 쉽게 생각할 수 있습니다. 수십억 개의 매개변수를 가진 로컬 모델은 수백억 개의 매개변수를 가진 최고 수준의 상업용 LLM의 추론 능력이나 순수한 성능을 따라잡을 수 없습니다. 그것은 사실이지만, 실제로 그렇게 할 필요는 없습니다.

만약 당신의 일일 업무량이 복잡한 워크플로를 변경하거나 방대한 코드베이스를 업데이트해야 한다면, 그렇다면 클라우드 기반 도구가 필요할 수 있습니다. 하지만 그렇다고 해서 로컬 모델이 쓸모없는 것은 아닙니다. 이 작은 버전들은 특정 작업을 놀라울 정도로 잘 처리합니다.

간단한 개인 프로젝트를 실행하거나, 레시피를 브레인스토밍하거나, 앱을 프로그래밍하고 싶다면, LLM은 여전히 매우 능력 있습니다. 원하는 것에는 아주 고급 LLM이 필요하지 않을 가능성이 큽니다. Llama 3.1 8B와 같은 작은 모델만 사용해도 초당 90~120 토큰의 속도로 텍스트를 처리할 수 있으며, 이는 평균적인 사람이 읽는 속도보다 빠릅니다. 복잡한 전문적 추론을 위해서는 여전히 유료 클라우드 구독을 사용할 수도 있지만, 빠른 개인 프로젝트를 위해 LLM을 실행할 수 있습니다.

시작하는 데 5,000달러짜리 장비가 필요하지 않습니다

이미 가지고 있는 하드웨어를 사용하세요

고급 그래픽 카드가 장착된 5,000달러짜리 워크스테이션이 필요하다고 생각하기 쉽지만, 그것은 흔한 오해입니다. 양자화는 모델을 압축하는 방법입니다. 4비트 양자화를 사용하면 모델의 메모리 사용량을 거의 75%까지 줄일 수 있으며, 추론 능력에는 거의 눈에 띄는 손실이 없습니다.

이 거대한 압축 덕분에, 70억 또는 80억 파라미터 모델이 단지 4에서 8기가바이트의 메모리만으로 실행됩니다. 막 시작하는 경우라면, 현재 가지고 있는 하드웨어로도 충분할 가능성이 높습니다. 저는 GPT4All을 사용하는 것을 좋아하는데, 이것은 오픈 소스이며 제 오래된 PC에서도 LLM을 잘 작동하게 해줍니다. AI와 대화하기 위해 전용 그래픽 카드조차 필요하지 않습니다.

라즈베리 파이처럼 기본적인 장치에서도 Llama 3.2 3B와 같은 경량 모델을 실행할 수 있습니다. 또한, 만약 최신 Mac에서 Apple Silicon을 사용한다면 이미 강력한 AI 기계를 가지고 있는 것입니다. Apple의 통합 메모리 구조는 시스템이 하나의 거대한 RAM 풀을 공유할 수 있게 합니다. 이는 일반적인 노트북에서도 여러 개의 고가 그래픽 카드가 필요했던 모델을 불러올 수 있음을 의미합니다.

내가 저지른 실수를 하지 마세요

로컬 AI를 실행하는 것은 예전에는 여유 시간과 인내심이 있는 개발자들만 시도할 수 있는 일이었습니다. 이제는 그렇지 않습니다. 괜찮은 컴퓨터가 있다면, 경우에 따라서는 꽤 기본적인 컴퓨터만으로도 시작할 수 있습니다. 이러한 모델들은 전문적인 대규모 작업을 위해 유료 클라우드 구독을 대체하지는 못하지만, 개인 프로젝트, 간단한 아이디어 구상, 일상적인 작업에는 충분히 활용할 수 있습니다. 자신이 이미 가진 것보다 더 강력한 것이 필요하다고 스스로 설득하기 전에 한번 시도해볼 가치가 있습니다.