우리는 실제 작업에서 ChatGPT Atlas와 Perplexity Comet을 테스트했는데 — 한 쪽이 다른 쪽을 압도했습니다

AI 브라우저. 말하자면, 이것들이 웹의 미래라고 합니다. 홍보 문구는 대략 이렇게 나옵니다: 웹사이트는 인간을 위해 디자인되는 것을 멈추고 대신 AI 에이전트를 위해 디자인될 것이며, 깔끔한 구조, 예측 가능한 버튼, 기계가 읽을 수 있는 의도를 갖추게 될 것입니다. 더 이상 브라우징을 하지 않고, 지시를 내리게 될 것입니다. 에이전트가 대신 스캔하고, 클릭하고, 비교하고, 결정할 것입니다. 그런 미래가 언젠가는 올지도 모릅니다. 하지만 지금은 그와는 한참 거리가 먼 상태입니다.

이 에이전트형 브라우저 아이디어에 대한 가장 유명한 시도 중 두 가지는 Perplexity의 Comet과 OpenAI의 Atlas입니다. 두 제품 모두 브라우저 안에서 사용자를 대신해 작동할 것을 약속합니다. 그래서 우리는 동일한 프롬프트, 동일한 사이트, 동일한 제약 조건을 사용하여 두 제품을 나란히 테스트했습니다. 어느 것이 가장 잘 작동할까요? 간단한 답은: 둘은 동일하지 않다는 것입니다. 그 중 하나는 일관되게 더 빠르고, 더 잘 작동하며, 스스로 문제를 일으키는 경우가 적습니다.

선글라스 쇼핑하기

희귀 아이템, 잘 맞는지는 의문

그 작업은 간단하면서도 현실적이었습니다. 나는 선글라스 한 쌍 사진을 업로드하고 에이전트에게 쇼핑 사이트에서 비슷한 제품을 찾아 달라고 요청했습니다. 제약 조건은 명확했습니다: 평판이 좋은 브랜드, 리뷰 500개 이상에서 최소 4성, 100달러 이하, 그리고 링크와 가격이 포함된 세 가지 구체적인 옵션.

아틀라스가 먼저 나서서 1분 58초 만에 작업을 완료했습니다. 아틀라스는 이미지를 분석하고, 선글라스에 대한 텍스트 설명을 생성한 후, 그 설명을 사용해 아마존에서 검색했습니다. 요청대로 세 개의 제품 링크를 반환했습니다. 겉으로 보기에는 성공처럼 보였습니다. 그러나 더 깊이 살펴보면, 문제가 있었습니다. 세 개 중 두 개의 링크는 연결이 끊겨 있었습니다. 제품 이름을 수동으로 검색해보니, 어느 것도 사진 속 원래 선글라스와 특히 비슷하지 않았습니다. 아틀라스는 워크플로를 완료했지만, 판단 단계가 약했습니다.

코멧이 뒤를 따랐습니다. 작업이 끝나지 않아 5시에 중단해야 했습니다. 아틀라스가 이미지를 분석하고 그 이해를 바탕으로 행동한 반면, 코멧은 완전히 혼란스러워 보였습니다. 아마존의 무한 스크롤에 걸려 계속해서 더 많은 항목을 불러왔지만, 유용한 결과에는 도달하지 못했습니다. 다섯 분 지점에서 중지하라고 요청할 때까지 계속되었습니다. 제품을 식별하는 대신, 코멧은 개별 목록이 아닌 아마존 검색 결과 페이지 링크를 생성했습니다. 그 결과를 수동으로 확인해본 결과, 어느 제품도 참조 이미지와 비슷하지 않았습니다.

스프레드시트 분석 및 차트 작성

숫자는 존중을 요구한다

다음은 생산성 업무입니다. 이미 열려 있는 스프레드시트를 사용하여 에이전트는 데이터를 요약하고, 무게, 마력, 0-100 가속도 간의 관계를 보여줄 적절한 차트 유형을 선택한 후, 실제로 그 차트를 만들어야 했습니다.

아틀라스는 2분 13초 만에 작업을 완료했습니다. 그는 버블 차트를 선택하고, X축과 Y축을 정확히 매핑했으며, 버블 크기도 적절하게 설정했습니다. 흥미롭게도, 아틀라스는 차트가 나타난 후에도 멈추지 않았습니다. 그는 차트가 기존 데이터를 가리고 있다는 것을 발견하고, 이를 이동시키려 시도했습니다. 그 시도는 잘 풀리지 않았습니다. 차트를 재배치하려 거의 1분을 허비했으며, 혼란스러워하다가 결국 포기했지만, 그 전에 차트를 새 시트로 옮기기로 결정했습니다. 그 결정은 묘하게 인간적이었습니다. 최종 결과물은 깔끔하고, 읽기 쉽고, 정확했습니다.

Comet은 4분 5초 만에 작업을 완료했습니다. 또한 올바른 선택이었던 버블 차트를 선택했습니다. 하지만 모든 데이터 레이블을 활성화한 채로 두어 차트를 거의 읽을 수 없게 만들었습니다. Comet은 버블 크기를 무게에 따라 설정했다고 주장했지만, 크기 필드는 사실상 비어 있었고 모든 버블이 동일하게 보였습니다. 지연의 대부분은 Comet이 스프레드시트에서 올바른 열을 선택하는 데 어려움을 겪으면서 발생했습니다. 기술적으로 작업을 마쳤지만, 출력물을 사용하려면 수동으로 정리해야 했습니다.

회의 후속 조치

주로 달력 마법

이 작업은 여러 서비스 간의 다단계 조정을 테스트했습니다. 에이전트는 다음 날 오전 9시에 구글 캘린더 이벤트를 생성하고, 적절한 이름을 지정하며, 논의 중인 스프레드시트를 첨부하고, 시트를 설명하는 간단한 설명을 작성한 후, 이벤트가 생성되었는지 확인해야 했습니다.

아틀라스가 2:48에 완료되었습니다. 새 탭에서 구글 캘린더를 열고, 올바른 시간에 이벤트를 생성한 후, 이름을 “자동차 및 사양 토론”으로 지정했습니다. 첨부 파일 패널을 열고, 내 구글 드라이브에서 스프레드시트를 찾아 첨부한 후, 간결한 설명을 작성하고 이벤트를 저장했습니다. 모든 것이 예상대로 끝까지 잘 작동했습니다.

Comet은 2분 53초 만에 완료했습니다. 비슷한 흐름을 따르며 이벤트 이름을 ‘자동차 엔진 및 사양 리뷰’로 정했습니다. 설명은 요구되진 않았지만 해롭지 않은 글머리 기호 형식으로 작성했습니다. 다만 파일을 직접 첨부하는 대신 설명에 스프레드시트 링크를 붙였습니다. 기술적으로 과제는 완료되었지만 조금 덜 다듬어진 느낌이었습니다.

이메일 요약

압박 속에서의 분류

여기서 목표는 분류였습니다. 상담원은 내 받은편지함을 살펴보고, 자동 알림이 아닌 마지막 15개의 읽지 않은 이메일을 요약하며, 주제나 발신자별로 그룹화하고, 긴급한 사항을 표시하며, 제안된 조치 목록을 작성해야 했습니다.

아틀라스는 2분 18초 만에 작업을 완료했습니다. 그는 일일이 읽지 않은 이메일을 클릭하는 무차별적인 방식을 사용했습니다. 가장 답답한 부분은 이메일을 자동화된 것으로 식별한 다음에도 같은 발신자와 같은 제목의 다른 이메일을 열어보는 것이었는데, 그것이 확실히 자동화된 이메일이라는 것을 전혀 인식하지 못한 듯 보였습니다. 이러한 비효율성은 차치하고, 최종 요약은 간결하고 읽기 쉬웠으며, 단순한 정보 덩어리라기보다는 실제로 요약처럼 느껴졌습니다.

Comet은 4분 43초 만에 작업을 완료했습니다. 처음에는 모든 이메일을 선택하는 것으로 시작했지만, 그 후에는 선택을 취소하는 방법을 알아내는 데 정확히 1분을 보냈습니다. 'is:unread'를 검색했으나 수많은 읽지 않은 Asana 이메일에 압도당했고, 이를 필터링하려고 시도했지만 Asana만 자동 발신자가 아니라는 것을 깨달았습니다. 결국 필터링을 포기하고 이메일을 수동으로 열어 읽은 상태로 표시하기 시작했습니다. 일찍 멈췄고, 최종 요약에는 제가 명시적으로 제외하도록 요청했던 바로 그 자동 이메일이 대부분 차지하게 되었습니다.

Goodreads에 책 추가하기

완벽한 승리

이것은 가장 간단한 작업이었습니다: 특정 책을 내 Goodreads의 '읽고 싶은 책' 목록에 추가하는 것.

아틀라스가 0:54에 완료했습니다. 처음에는 전체 제목과 저자 이름을 사용해 검색했는데, 책 자체 대신 학습 가이드가 나왔습니다. 그 다음에는 정확한 제목만으로 검색했지만 성공하지 못했고, 최종적으로 'Neuromancer'만 검색하여 올바른 목록을 찾아 목록에 추가했습니다. 다소 우회적이었지만 효과적이었습니다.

코멧이 0:59 만에 완료했습니다. 그것은 굿리즈를 열고, '뉴로맨서'를 검색한 후, 첫 번째 결과를 선택하고 추가했습니다. 아틀라스보다 실수가 적었지만, 여전히 약간 더 오래 걸렸습니다. 이제 익숙한 패턴이었습니다: 코멧의 행동 자체는 그 추론이 정확하든 아니든 느렸습니다.

퍼플렉시티가 먼저 했지만, 오픈AI가 더 잘한다

조기 접근, 늦은 실행

Comet은 최초의 에이전트형 AI 브라우저 중 하나였습니다. 저는 그 용어가 마음에 들지 않습니다 — 마치 혁신으로 위장한 기업용 의미 없는 채워넣기처럼 느껴지거든요 — 하지만 우리가 선택할 수 있는 범주입니다. 현재 상태에서는 이러한 에이전트들이 많은 제약을 받고 있습니다. 이들은 작업을 수행할 수 있지만, 대부분의 경우 직접 하는 것이 더 빠르고 스트레스가 덜할 것입니다.

심지어 에이전트가 기술적으로 시간을 절약하더라도, 정확한 프롬프트를 작성하는 오버헤드가 그 이점을 상쇄하는 경우가 많습니다. 저는 10초도 채 걸리지 않아 버블 차트를 직접 만들 수 있었습니다. 여기서 Atlas나 Comet이 50초 이내에 완료한 작업은 단 한 가지도 없었습니다. Goodreads에 책을 추가하는 것이 가장 가까웠지만, 그건 5초 만에 수동으로 추가할 수 있었습니다.

실험으로서 흥미롭고 아이디어로서 매력적이지만, 아직 준비가 된 것은 아닙니다. 두 가지 중에서 OpenAI의 Atlas가 명백한 승자인데, 그것이 완벽해서가 아니라, 실패가 덜 치명적이고, 회복이 더 원활하며, 실제로 요청한 것과 더 비슷한 결과를 자주 만들어내기 때문입니다. 이것이 아직 브라우징의 미래는 아니지만, 더 가까워지긴 했습니다.