당신의 Plex 서버에 있는 사용하지 않는 인코딩 GPU는 로컬 AI를 실행하기에 완벽합니다

Plex와 로컬 LLM을 실행하기 위해 두 개의 별도 서버가 필요하다고 생각하고 있다면, 다시 생각해보세요. Plex와 로컬 대형 언어 모델은 생각보다 공통점이 많으며, 그렇기 때문에 동일한 하드웨어에서 실행하는 것이 실제로 의미가 있습니다.

Plex가 트랜스코딩에 사용하는 동일한 하드웨어로 로컬 LLM을 실행할 수 있습니다

그 GPU를 사용해 작업하세요

대형 언어 모델, 또는 LLM은 실행하는 데 많은 연산 능력이 필요할 수 있습니다. 좋은 점은, Plex 트랜스코딩 작업을 처리하는 데 사용하는 동일한 연산 능력이 실제로 LLM을 실행하는 데도 잘 작동할 수 있다는 것입니다.

보시다시피, 많은 Plex 서버는 트랜스코딩을 위해 통합 그래픽 카드(iGPU)나 전용 그래픽 카드(dGPU)를 사용합니다. 대형 언어 모델도 실행을 위해 동일한 유형의 하드웨어를 사용하므로, 추가 하드웨어를 구매하지 않고도 동일한 서버가 두 가지 작업을 모두 처리할 수 있습니다.

한 가지 주목할 점은 Plex가 LLM에는 그다지 이상적이지 않은 구형 하드웨어에서도 작동한다는 것이지만, 결국 Plex가 실행될 수 있는 모든 하드웨어에서 LLM을 실행할 수 있다는 것입니다. 단지 일부 하드웨어가 다른 하드웨어보다 이를 더 잘 처리할 수 있을 뿐입니다.

어차피 당신은 거의 24시간 내내 Plex를 트랜스코딩하지 않을 것입니다

대부분의 Plex 서버는 유휴 시간이 많습니다

만약 당신의 Plex 서버가 제 서버와 비슷하다면, 트랜스코딩 측면은 서버 자체의 전체 사용에 비해 거의 사용되지 않습니다. 제 Plex 서버는 거의 항상 무언가를 재생하고 있지만, 실제로 자주 트랜스코딩할 필요가 없도록 많은 노력을 기울였습니다.

이것은 제 트랜스코딩 하드웨어가 사용되는 것보다 더 많이 유휴 상태로 있다는 것을 의미하며, 그로 인해 다른 작업—예를 들어 LLM—을 위해 자유롭게 사용할 수 있다는 뜻입니다. 만약 여러분의 서버도 동일하다면, 추가 하드웨어를 구입하지 않고도 스마트 홈, 채팅, 심지어 코딩을 위해 로컬 LLM을 쉽게 실행할 수 있습니다.

대부분의 Plex 서버가 24시간 내내 트랜스코딩에 대해 걱정하지 않을 뿐만 아니라, 대부분의 최신 프로세서에는 iGPU 옆에 위치한 NPU(신경 처리 장치)라는 것이 실제로 있습니다. 이는 만약 당신의 Plex 서버가 최신 하드웨어에서 실행되고 있다면, 기본적으로 사용되지 않고 단지 당신의 LLM이 작업을 보내기를 기다리고 있는 전용 NPU가 있을 가능성이 있다는 것을 의미합니다.

또 한 가지 기억해야 할 점은 당신의 대규모 언어 모델 AI 에이전트도 아마 24시간 내내 작동하지 않을 것이라는 것입니다. Ollama와 같은 대부분의 플랫폼은 요청이 있을 때에만 LLM을 메모리에 로드합니다. 이는 사용자가 LLM과 활발히 대화 중이거나 LLM에 대한 활성 API 호출이 없는 한, LLM이 시스템 메모리에 상주할 필요가 없다는 것을 의미하며, 이는 Plex와 함께 사용할 때 매우 적합합니다.

심지어 트랜스코딩을 하나나 두 개 시작하더라도, 최신 하드웨어는 두 작업을 쉽게 처리할 수 있습니다

현대 시스템은 당신이 생각하는 것보다 더 많은 힘을 가지고 있다

Plex를 실행할 수 있는 현대 서버의 가장 큰 장점은 하드웨어가 충분히 많다는 것입니다. 4K HDR에서 480p SDR로 트랜스코딩하지 않는 한, 대부분의 트랜스코딩은 실제로 서버의 처리 능력을 많이 차지하지 않습니다. 이는 몇 가지 트랜스코딩이 실행되더라도, 여전히 LLM이 백그라운드에서 실행될 수 있는 여유 공간이 충분함을 의미합니다.

당신은 아마도 당신의 Plex 서버가 Core Ultra 7이나 Core Ultra 9가 아닌 '하찮은' Core Ultra 5에서 실행된다고 생각하고 있을지도 모릅니다. 어쩌면 전용 그래픽 카드조차 없을 수도 있습니다.

그건 전혀 문제가 되지 않습니다. 왜냐하면 Core Ultra 5(또는 구형 i5 시스템, 심지어 N 시리즈 프로세서조차도)조차도 한 번에 여러 트랜스코딩을 처리할 충분한 성능을 가지고 있기 때문입니다. 만약 어느 형태의 전용 그래픽 카드를 가지고 있다면, 트랜스코딩과 대형 언어 모델을 동일한 하드웨어에서 동시에 처리하기에 충분히 많은 연산 성능을 가지고 있는 것입니다.

현대 컴퓨터는 대부분의 사람들이 생각하는 것보다 훨씬 더 강력해졌습니다. 예를 들어, 몇 년 된 노트북용 i5 프로세서, 예를 들어 i5-12450H는 실제로 상징적인 i7-9700K 데스크탑 프로세서보다 성능이 더 뛰어납니다.

Geekbench는 12세대 i5가 거의 모든 면에서 구형 i7보다 성능이 뛰어나다는 것을 보여줍니다. 트랜스코딩에 완벽한 최신 iGPU 시스템을 갖추고 있습니다. 또한 DDR5 메모리를 지원하는데, 매우 빠르며 그래픽 메모리가 충분하지 않아 LLM을 실행할 수 없는 경우에 도움이 될 수 있습니다.

심지어 엔트리급 노트북 프로세서조차 불과 몇 년 전의 고급 데스크탑 프로세서를 능가한다는 것이 정말 놀라운 일입니다. 따라서 NAS가 Plex와 LLM을 동시에 처리할 충분한 성능이 없다고 생각하지 마세요. 최신 프로세서 플랫폼이라면 충분히 가능합니다.

같은 하드웨어에서 로컬 LLM과 Plex를 혼합하는 것은 당연한 일입니다.

저는 분명히 제 개인 홈랩을 여러 서버로 나누어 두었지만, 이 글에서 언급한 정확한 이유 때문에 제 로컬 LLM과 Plex 서버를 같은 하드웨어에서 실행합니다. 저에게는 그냥 그게 더 합리적입니다. 하드웨어는 거의 트랜스코딩을 하지 않고 항상 실행 중이어서, 로컬 LLM의 이상적인 환경이 됩니다.