내 전화기에서 로컬 LLM으로 하는 5가지 유용한 일

당신이 ChatGPT, Gemini 같은 모델에 프롬프트를 보낼 때마다, 그것은 인터넷을 가로질러 어느 서버에 도착하고, 당신이 실제로 보지 못하는 시스템의 일부가 됩니다. 이러한 거래는 일반적으로 클라우드 모델이 더 빠르고, 더 똑똑하며, 사용하기 쉬운 이유 때문에 그만한 가치가 있습니다.

하지만 내 휴대폰에서 작은 언어 모델을 로컬로 실행하는 것은 내가 AI를 사용하는 방식을 바꿨습니다. 경험은 더 사적이며, 때로는 내가 예상했던 것보다 더 실용적입니다. 클라우드 AI만큼 강력하지는 않지만, 특정한 것들에는 사실 더 나은 도구입니다.

이것들은 내가 내 휴대폰에서 로컬 LLM을 사용하게 되면서 가장 유용하게 사용한 방법들입니다.

나는 그것을 사고의 동반자로 사용합니다

질문이 있으면 내 전화기를 떠나고 싶지 않아요

ChatGPT나 구글에 입력하기 전에 잠시 멈추게 만드는 특정한 종류의 질문이 있습니다. 부적절해서가 아니라, 계정과 연결된 서버로 보내는 것이 썩 기분 좋지 않을 만큼 개인적이기 때문입니다. '너무 개인적'으로 여기는 기준은 사람마다 다르겠지만, 누구나 그 보이지 않는 선을 가지고 있는 것 같습니다.

그 질문들은 제가 대신 지역 모델로 가져가기 시작한 질문들입니다. 대화는 제 하드웨어에 머물고, 더 조심하고 싶다면 휴대폰을 비행기 모드로 전환하여 진정으로 외부와 차단된 대화를 할 수도 있습니다. 그때는 정말로 당신과 모델만 있으며, 외부 세계와의 연결은 전혀 없습니다.

이것은 내가 AI를 사용하는 방식을 바꿉니다. 나는 더 기꺼이 생각을 소리 내어 말하고, 불완전한 아이디어를 시험하며, 평소라면 혼자만 간직했을 질문을 할 수 있게 됩니다.

나는 지저분한 노트를 그것에 던진다

그리고 약간의 구조를 되찾다

저는 메모를 많이 하는데, 솔직히 대부분 엉망입니다. 여기에는 자신에게 되돌아오는 음성-텍스트 전사, 맥락 없는 글머리표, 순간에는 완전히 이해되었지만 나중에는 전혀 의미가 없는 중간에 끝난 생각들이 포함됩니다. 예전의 작업 방식은 많이 바라보고, 줄을 이리저리 옮기고, 천천히 내가 무엇을 의미했는지 재구성하려고 하는 것이었습니다.

이제 나는 그런 생각 쏟아놓기를 바로 로컬 모델에 붙여넣고 그것에게 정리해 달라고 부탁합니다. 모델은 핵심을 추출하고 내가 무엇을 맴돌고 있었는지 파악한 다음, 그 기반으로 만들 수 있는 좀 더 깔끔한 결과를 반환할 수 있습니다. 완전히 다듬어진 것은 아니지만, 진행할 수 있을 정도로 일관성은 있습니다.

이것은 특히 어디에도 보내기에는 너무 원시적으로 느껴지는 노트에 대해 잘 작동합니다. 모든 것이 기기에 남아 있기 때문에, 실제 이름이나 수치, 개인적인 맥락이 담긴 자료를 붙여 넣는 것을 주저하지 않습니다. 앞서 언급했듯이, 텍스트가 어디로 가는지에 대해 마음속으로 멈춤이 없는데, 그것이 기기를 벗어나지 않기 때문입니다. 바로 이것이 제가 모든 것을 로컬 AI로 전환하고 문서를 클라우드로 보내는 것을 중단한 이유입니다.

나는 빠른 코드 검사를 실행한다

논리만 건전하게 확인해야 할 때

독점 로직, 내부 도구, 클라이언트별 설정 — 이런 상황에서는 코드 조각을 클라우드 모델에 붙여 넣는 것이 서비스 약관에서 무엇을 약속하든 간에 사실상 좋지 않은 아이디어인 경우가 많습니다. 제 휴대폰에서 실행되는 로컬 LLM은 노트북을 사용할 수 없을 때 가벼운 대체 수단이 되었습니다. 데스크톱에서 MCP 도구와 함께 로컬 LLM을 사용하는 흥미로운 방법이 여러 가지 있는 것처럼, 저는 휴대폰에서 직접 오류를 설명하거나 작은 함수를 붙여 넣거나, 단순히 로직의 일부가 무엇을 하는지 평이한 영어로 설명해 달라고 요청할 수 있습니다.

이것은 제대로 된 IDE를 대체할 수 있는 것은 아니며, 전혀 그렇지 않지만, 부족한 부분을 채워줍니다. 이것은 최대 수백 줄 정도의 작은 코드 조각에서 가장 잘 작동합니다. 그 범위 내에서는, 심지어 평범한 온-디바이스 모델도 논리를 설명하거나, 명백한 실수를 발견하거나, 더 깔끔한 접근 방식을 제안하는 데 능숙합니다.

저는 그것을 부담 없는 언어 튜터로 사용합니다

연속 기록, 점수, 압박 없이 연습하기

클라우드 기반 언어 앱은 종종 학습 도구라기보다는 모바일 게임처럼 느껴집니다. 이 앱들은 연속 기록을 추적하고, 알림으로 당신을 자극하며, 관심을 유지하기 위해 광고를 뿌립니다. 로컬 LLM은 그런 것을 전혀 하지 않습니다.

나는 그것을 사용하여 프랑스어와 스페인어를 좀 더 자유로운 방식으로 연습하고 있다. 킨들과 ChatGPT를 언어 학습의 지름길로 사용하는 요령에서 영감을 받아, 어색한 문법 질문을 하거나 역할놀이 시나리오를 요청하거나 단순히 실수에 대해 걱정하지 않고 편하게 대화할 수 있다. 점수 시스템도 없고 평가받는 느낌도 없다.

로컬에서 실행되기 때문에 오프라인에서도 작동합니다. 비행기 안에서, 신호가 불안정한 호텔 Wi-Fi에서, 또는 연결이 불안정한 어디서든 연습할 수 있습니다. 덕분에 연결 상태를 고려하지 않고도 짧은 시간 동안 연습을 쉽게 끼워 넣을 수 있습니다.

나는 내 카메라를 사물에 향하고 묻는다...

저게 뭐예요?

일부 로컬 모델은 텍스트뿐만 아니라 이미지도 처리할 수 있습니다(실제로 멀티모달 모델이라고 불립니다). 이는 실질적인 용도의 범위를 열어줍니다. 저는 보통 화이트보드를 요약하거나, 손글씨 노트를 해석하거나, 빠르게 찍은 사진에서 핵심 포인트를 추출하는 데 사용합니다.

일상적인 상황에서도 유용합니다. 알레르기를 확인하기 위해 재료 라벨을 사진으로 찍거나, 생소한 용어를 이해하기 위해 제품 포장을 촬영하거나, 대략적인 식물 식별을 위해 식물 사진을 찍기도 했습니다. 이 모든 작업은 모델이 기기 내에서 완전히 실행될 때 인터넷 연결이 필요하지 않습니다.

결과가 항상 완벽한 것은 아닙니다. 작은 모델은 특히 이미지가 흐리거나 복잡할 때 세부 사항을 잘못 생성할 수 있습니다. 그럼에도 불구하고, 빠른 상황 파악이나 두 번째 의견을 위해서는 종종 충분히 좋은 경우가 많으며, 이것이 보통 제가 필요한 전부입니다.

더 작은 모델이지만, 다른 종류의 유용성

MNN Chat은 알리바바가 오픈 소스 프로젝트로 개발한 것으로, 모바일 하드웨어에서 성능을 최대한 끌어내는 방식 덕분에 이런 종류의 작업에서 제가 가장 자주 사용하는 도구가 되었습니다. 이것 하나만으로도 Android 폰에서 작은 LLM을 실행할 수 있고 실행해야 한다는 것을 증명합니다.

즉, 휴대전화에서 로컬 LLM을 실행하는 것이 클라우드 AI를 대체하는 것은 아닙니다. 더 큰 모델은 여전히 무거운 작업, 복잡한 추론, 코딩, 심층 연구 등에서 우위를 점합니다. 하지만 그것이 진짜 핵심은 아닙니다; 로컬 모델은 다른 역할을 합니다. 이들은 개인적이고, 항상 접근 가능하며, 일상적인 작은 작업에 꽤 유용합니다.