나는 121페이지 PDF를 요약하기 위해 Gemini, ChatGPT, Claude를 사용했는데, 그 중 하나가 다른 것들을 압도했다

AI는 이미 일반 사무직 근로자의 하루 속으로 들어오고 있습니다. 그것이 이메일을 정리하거나, 메모를 조직하거나, 혼란스러운 언어를 설명하거나, 거대한 문서를 다루기 덜 고통스럽게 만드는 것을 의미하든 말이죠. 그리고 이렇게 많은 AI 도구와 구독 계층이 존재하는 상황에서 진짜 질문은 AI가 무언가를 요약할 수 있는지가 아니라, 그 요약이 믿을 수 있을 만큼 충분히 좋은지입니다.

그게 제가 알아내고 싶었던 것이었습니다. 저는 정기적으로 긴 PDF를 열심히 읽어야 하는데, 잘못된 요약은 아예 요약이 없는 것보다 더 나쁠 수도 있습니다. 핵심 세부 사항을 놓치거나, 쓸데없는 내용에 집중하거나, 중요한 부분을 건너뛰면서 자신만만하게 들린다면 결국 제가 다시 돌아가서 직접 작업을 해야 합니다. 그래서 저는 공개된 121페이지 분량의 아마존 투자자 자료를 가져와 동일한 문서와 프롬프트를 Gemini, ChatGPT, Claude에 제공하고 실제로 중요한 점, 즉 명확하고 정확하며 사용 가능한 요약을 제공한 것이 무엇인지 기준으로 평가했습니다. 그 중 하나가 꽤 빨리 앞서 나갔습니다.

나는 각 AI에게 동일한 PDF와 동일한 프롬프트를 주었다

이것은 공정하고 실제 세계에서의 테스트여야 했다

이 테스트에서는 세 가지 AI 도구에 약간씩 다른 질문을 세 번씩 하지 않고 결과를 비교할 수 있는 척하지 않으려고 했습니다. 저는 동일한 공개 아마존 투자자 자료를 사용하여 PDF로 저장한 후, 그 동일한 파일을 Gemini, ChatGPT, Claude에 업로드했습니다. 그리고 각 도구에 정확히 동일한 프롬프트를 주어, 주요 시사점, 사업 부문, 재무 성과, 전략적 우선순위, 위험, 그리고 쉽게 놓칠 수 있는 몇 가지 통찰을 포함한 구조화된 요약을 요청했습니다.

저는 실제 업무 상황에서 평가하듯이 결과를 판단했습니다. 요약에 문서의 중요한 내용이 포함되어 있었나요? 애매한 비즈니스 용어 대신 실제 수치를 사용했나요? 불필요한 내용은 생략했나요? 쉽게 훑어볼 수 있었나요? 그리고 가장 중요한 것은, 제가 전체 PDF를 다시 읽지 않고도 믿고 의지할 수 있을 것 같았나요? 이것이 테스트의 전부였습니다. 저는 가장 다듬어진 AI를 찾는 것이 아니라, 빠르게 시간을 절약하면서 누락된 부분 때문에 불안해하지 않게 해주는 AI를 찾고 있었습니다.

사용된 플랫폼/모델/모드

• ChatGPT: GPT-5.5
• 클로드: 클로드 소넷 4.6
• 쌍둥이자리: 쌍둥이자리 3 사고

제가 사용한 프롬프트는 여기 있습니다

Please summarize this long PDF document for someone who does not have time to read it.
Create a clear, structured summary of this Amazon annual report (10-K) that is accurate, specific, and easy to use and skim.
Follow these rules exactly:
Start with a 5-10 bullet executive summary that captures the most important takeaways from the report.
Then create sections with the following headings: Company overview, Key business segments, (include AWS, retail, advertising, and any others discussed)
Financial performance (include specific numbers and trends where relevant)
Outline major strategic priorities and investments
Risks and challenges
Within each section:
Use bullet points, (not long paragraphs)
Include specific details, not vague generalizations
Do not invent or assume anything not in the document
Call out at least 3 specific insights that are easy to miss on a quick read.
Keep the total length under 700 words.
Do not repeat the same points across sections.
If something is unclear or not stated in the document, say so instead of guessing.
The goal is a summary that someone could rely on without reading the full report.

클로드가 나에게 가장 쓸모 있는 요약을 주었다

놓치기 쉬운 통찰력들이 그것이 차이를 만든 부분입니다

클로드가 제게는 분명한 승자였습니다. 완벽했기 때문이 아니라, 가장 실용적인 요약을 제공했기 때문입니다. 다운로드 가능한 문서를 만들어 구글 드라이브에 저장하고 열 수 있었는데, 이것이 실제 업무 상황에서 바로 더 유용하게 느껴지게 했습니다. 작업 중에도 사이드 패널에서 요약을 볼 수 있었지만, 그 패널을 전체 화면으로 만들 수 있는 방법이 있었으면 좋겠다는 아쉬움이 있습니다. 레이아웃 자체가 가장 쉽게 훑어볼 수 있었고, 클로드는 심지어 아마존의 전반적인 성과를 한눈에 쉽게 이해할 수 있도록 간단한 재무 성과 그래프까지 만들어 주었습니다.

가장 큰 차이점은 Claude가 포인트마다 실제 수치를 계속 첨부했다는 것이었습니다. ChatGPT와 Gemini는 더 폭넓은 설명이나 회사 언어에 의존하는 경향이 있었지만, Claude의 요약은 서류에 더 근거를 둔 느낌이었습니다. 전략 목표 섹션 또한 가장 상세하고 이해하기 쉬웠습니다. Amazon의 사업을 분류할 때, Claude는 각 부문이 무엇을 하는지 설명하는 것에 그치지 않고, 요약 내용을 매출, 영업이익, 실제 회사 움직임과 더 잘 연결했습니다.

인공지능 기초
잡학 퀴즈 도전

챗봇에서 신경망까지 — 당신이 AI에 대해 얼마나 알고 있는지 알아보세요.

‘머신 러닝’이라는 용어는 가장 정확하게 무엇을 설명합니까?

1956년에 '인공지능'이라는 용어를 처음 만든 것으로 널리 알려진 사람은 누구인가?

ChatGPT와 같은 인기 있는 챗봇을 구동하는 AI 모델의 유형은 무엇입니까?

머신 러닝에서 '오버피팅'이란 무엇인가요?

'AI 편향'이 일반적으로 무엇을 의미하나요?

GPT-4와 같은 AI 모델 이름에서 'GPT'는 무엇을 의미합니까?

다음 중 '딥 러닝'을 가장 잘 설명하는 것은 무엇입니까?

1997년에 체스 챔피언 가리 카스파로프를 유명하게 이긴 IBM AI 시스템의 이름은 무엇이었나요?

당신의 점수

플레이해 주셔서 감사합니다!

클로드가 정말로 두각을 나타낸 부분은 '쉽게 놓치기 쉬운 통찰' 섹션이었습니다. 이 섹션에서는 아마존의 극적인 국제적 반전, 이익이 크게 늘었음에도 거의 움직이지 않은 자유 현금 흐름, 아마존의 서버 감가상각 변경이 순이익에 미친 영향 등이 강조되었습니다. 이런 세부 사항은 길고 긴 PDF에서 AI 요약이 실제로 드러내주길 바라는 종류의 정보입니다. 단순히 흥미로운 잡학이 아니라, 아마존이 한 해 동안 어떻게 되었는지를 이해하는 방식을 바꾸는 정보입니다.

클로드에게는 한 가지 실제 결점이 있었습니다: 제 프롬프트가 하지 말라고 했음에도 불구하고 일부 외부 문맥을 추가했습니다. 그 문맥이 틀리지는 않았지만, 그래도 단점으로 평가할 수 있으며, 중요한 사항은 여전히 원본 문서와 대조해 확인해야 하는 이유입니다. 하지만 다른 요약에서 본 빈틈과 비교하면, 클로드는 제가 가장 작업하고 싶은 출력을 제공했습니다.

ChatGPT는 읽을 수 있었지만 너무 일반적이었다

그것은 뻔한 내용에 너무 많은 공간을 할애했다

ChatGPT의 요약은 읽기 쉽지만 Claude의 요약보다 더 일반적인 느낌이 들었습니다. 주요 요점은 충분히 명확했지만, Claude의 요약처럼 구체적인 숫자를 일관되게 포함하지는 않았습니다. ChatGPT는 회사 개요에서 더 많은 세부 정보를 제공했지만, 그 중 많은 부분은 명백하거나 불필요하게 느껴졌습니다. 예를 들어 이 문서에서 중요한 내용보다는 Amazon이 무엇을 하는지에 대한 배경 정보와 같은 부분이 그렇습니다.

핵심 사업 부문 섹션이 더 큰 문제였습니다. ChatGPT는 Claude가 잡아낸 오프라인 매장을 놓쳤습니다. 또한 각 부문이 제공하는 것과 대상이 누구인지 설명했지만, Claude처럼 매출, 영업이익 또는 실적 수치를 포함하지 않았습니다. '쉽게 놓칠 수 있는 통찰'도 Amazon의 비즈니스를 이해하려고 할 때에는 덜 유용했습니다. 예를 들어, 24만 명 이상의 직원이 Career Choice에 참여했다고 언급했지만, 이는 실제 세부사항이지만 Claude가 제공한 국제 수익, 자유현금흐름, 감가상각 변화에 대한 통찰만큼 Amazon의 한 해를 알려주지는 않았습니다.

Gemini는 ChatGPT보다 나았지만 Claude가 더 신뢰하기 쉬웠다

제미니는 지체되었고 그 통찰력은 너무 좁게 느껴졌다

제미니는 어떤 면에서는 ChatGPT보다 더 강력한 요약을 제공했지만, 여전히 Claude만큼 유용하다는 느낌은 들지 않았습니다. 또한 ChatGPT와 마찬가지로 핵심 비즈니스 부문 섹션에서 구독 및 오프라인 매장을 포함한 부분을 놓쳐서 요약이 Claude의 것보다 덜 완전하게 느껴졌습니다.

쉽게 놓칠 수 있는 통찰력 또한 그다지 유용하지 않았다. Gemini는 세 가지 관련 회계 및 인프라 세부 사항에 집중했다. 아마존이 일부 서버와 네트워킹 장비의 사용 수명을 6년에서 5년으로 줄인 점, 조기 서버 폐기로 약 9억 2천만 달러의 감가상각비를 기록한 점, 중장비의 사용 수명을 10년에서 13년으로 늘린 점이다. 이는 실제로 유용한 세부 사항이지만 모두 같은 주제에 몰려 있다. Claude의 통찰력은 아마존의 연간 실적을 더 폭넓게 이해하게 해주었다. 여기에는 International 부문의 실적 반등, 높은 이익에도 거의 변동이 없는 자유 현금 흐름, 그리고 서버 감가상각 변경이 순이익에 미친 영향이 포함된다. Gemini가 나쁜 것은 아니었지만 Claude가 더 완전하고 더 유용한 요약을 제공했다.

클로드는 내가 긴 PDF에 사용할 사람이다

이것은 철저한 벤치마크는 아니며, AI 도구는 빠르게 변화하지만, 이 PDF, 이 프롬프트, 그리고 이 실제 사용 사례에 대해서는 Claude가 확실한 승자였습니다. Claude는 내가 가장 쉽게 스캔할 수 있는 결과물을 제공했고, 더 구체적인 숫자를 사용했으며, 다운로드 가능한 문서를 생성했고, 최고의 인사이트를 보여주었습니다. 여전히 무턱대고 신뢰하지는 않을 것입니다. 특히 제가 하지 말라고 지시했음에도 불구하고 외부 맥락을 일부 추가했기 때문이지만, 모든 AI 요약을 다룰 때는 같은 방식으로 접근해야 합니다. 목표는 소스 문서를 완전히 대체하는 것이 아니라, 중요한 부분을 더 빠르게 파악하는 데 도움을 주는 것이며, Claude는 ChatGPT나 Gemini보다 그 부분을 더 잘 수행했습니다.