나는 Claude와 ChatGPT에게 같은 위험한 일을 시켰다 — Claude는 실제로 시도했다

대부분의 사람들은 프로젝트 중간에 들어서야 협조하지 않는 AI 때문에 얼마나 많은 시간을 잃는지 깨닫지 못합니다. 처음부터 결코 무리하지 않은 프롬프트에 대해 거절을 당하는 경우는 흔하지 않습니다. 문장을 바꾸거나 완곡하게 표현해도, 왜 처음에 그 답이 필요했는지를 이해시키기는 어렵습니다. 하지만 Claude가 이 점에서는 더 나은 것 같습니다.

AI 모델에는 안전 한계가 있습니다

때때로, 그들은 너무 지나치게 나아간다

AI 회사들이 대규모 언어 모델(LLM)을 훈련시킬 때, 모델의 행동 방식을 정의하는 과정은 시스템을 안전하게 유지하기 위해 만들어집니다. 이러한 것들에는 인간 피드백을 통한 강화 학습(RLHF)과 헌법적 AI가 포함됩니다. 이는 필요하고 합리적입니다.

문제는 안전을 지나치게 추구하면 모델이 소심해지는 경향이 있다는 것입니다. 모델은 사과를 하고 반사적으로 조심스러워지면서 실제로 덜 유용하게 됩니다. 맥락에 적응할 수 없는 모델은 과거에 그것을 우회하던 방법들조차 모두 거부하기 시작할 것입니다.

저는 AI가 민감한 주제를 다루거나 개방형 언어를 사용하는 프롬프트 때문에 실제로 필요한 것을 생각하지 않고 정당한 요청을 거부하는 것을 본 적이 있습니다. 그것이 사람들이 계속해서 AI를 깨뜨리려고 하는 큰 이유 중 하나입니다. 규칙을 깨려고 하는 것이 아니라, 모델이 실제로 얼마나 잘 추론하는지를 측정하는 진짜 방법입니다.

기본적으로, 안전성을 위해 최적화할수록 유용함과 창의성이 줄어드는 경향이 있습니다. 지나치게 제한된 모델은 지능적인 비서보다는 위험을 피하는 변호사처럼 행동하기 시작합니다. 상황과 상관없이 무조건적인 조심스러움을 더하기 시작하고, 도움을 주는 것보다 외형상 보이는 것에 더 신경을 씁니다.

이러한 시스템에 어려운 또는 극단적인 사례의 프롬프트를 던지는 것은 모델이 실제로 추론을 하고 있는지 아니면 단지 키워드에 기반한 패턴 매칭을 하고 있어 조금이라도 위험해 보이는 것은 아무것도 하지 않는지를 알려줍니다.

ChatGPT는 RLHF에 의존하는 것으로 잘 알려져 있으며, RLHF는 위험해 보이는 모든 것을 벌점으로 처리하여 지나치게 제한적이게 만듭니다. 이 때문에 때때로 안전한 쪽으로 애매모호성을 피하기 위해 해롭지 않은 창의적이거나 기술적인 작업을 거부하기도 합니다.

클로드는 앤트로픽의 Constitutional AI를 사용하므로, 모델은 자신의 출력을 평가하고 유용성과 안전성 간의 더 나은 균형을 위해 추론할 수 있습니다. 두 모델을 모두 거절 가능성이 높은 동일한 프롬프트로 실행하면, 하나는 진짜 위협과 합법적이고 복잡한 요청을 구별할 수 있는 맥락적 추론 능력을 가지고 있는 반면, 다른 하나는 단순히 안전하게만 행동한다는 것을 보여줍니다.

클로드와 ChatGPT 비교하기

한 사람은 예라고 했고, 다른 사람은 아니오라고 했다

이 모델들이 민감한 요청을 처리하는 방식의 차이는 꽤 분명합니다. 제 첫 번째 프롬프트는 Windows에서 비밀번호 프롬프트를 우회하도록 요청했는데, ChatGPT는 단호히 거부했습니다. 대신 당신이 거의 확실히 이미 본 Microsoft 지원 링크의 일반적인 목록을 제공했습니다.

진짜로 나아갈 길은 없고, 그냥 막다른 길뿐입니다. 클로드는 더 자세한 기술적 답변을 제공했지만, 그런 종류의 비밀번호 우회 안내는 공개 기사에 포함되어서는 안 됩니다. 그것은 당신이 자신의 기기를 소유하고 있다고 가정하고 사용할 수 있는 것을 제공했습니다.

내가 준 PDF 무차별 대입 프롬프트는 그것을 더 분명하게 만들었다. ChatGPT는 도움이 되지 않는 이유에 대한 강의로 시작했다. 그런 다음 파일을 열기에는 나를 더 가까이 데려다주지 않는 암호 수학의 이론적 분석으로 방향을 바꿨다.

클로드는 주석이 달린 작동하는 파이썬 스크립트를 건네고, 실용적인 용어로 딕셔너리, 하이브리드, 브루트포스 접근 방식을 설명했으며, 문자 집합과 예상 복구 시간을 매핑한 표를 포함했습니다. 그는 일을 완료하는 것에 신경을 썼습니다.

펌웨어 추출에 관한 지난 프롬프트에서 ChatGPT는 실제 하드웨어와 상호작용하는 방법에 대한 질문을 피하고 막연한 제안만 반복했습니다. 이에 반해 Claude는 OTA 업데이트 가로채기와 같은 비침습적 방법부터 CH341A 프로그래머를 사용하는 하드웨어 기술까지 완전한 워크플로를 제시했습니다. 또한 binwalk와 Ghidra와 같은 도구를 나열하고, 이러한 도구를 사용하여 하드코딩된 자격증명을 찾는 방법도 설명했습니다.

느낌도 다릅니다. ChatGPT와 대화하는 것은 당신을 돕기보다는 자신을 보호하는 데 더 신경 쓰는 관리자에게 사정을 호소하는 것처럼 느껴집니다. 클로드와 대화하는 것은 실제로 당신이 쓴 내용을 읽고 당신이 무엇을 하고 있는지 안다는 것을 존중하는 선임 엔지니어와 일하는 것처럼 느껴집니다.

더 나은 업무 파트너 결정하기

나는 힘든 프롬프트로 그들을 세게 때렸다

AI 작업 도구를 비교할 때 실제로 중요한 지표는 처리 능력이 아니라 당신이 싸우지 않고 원하는 일을 해주는지 여부입니다. 유용한 AI는 일을 해냅니다. 쓸모없는 AI는 완전히 합리적인 요청을 더 이상 기분 나빠하지 않을 때까지 10분 동안 다시 표현하게 만듭니다.

지금 대부분의 주요 언어 모델은 안전성을 지나치게 강하게 조정하여, 조용히 말하자면 단순히 성가시게 느껴질 정도로 바뀌었습니다. 모델이 사용자의 의도를 재차 확인하거나, 모든 것을 조건부로 말하거나, 복잡하지만 완전히 무해한 프롬프트에 응답을 거부한다면, 그것은 조력자라기보다는 오히려 방해물이 됩니다.

ChatGPT는 약간이라도 벗어난 방향으로 밀리면 지속적으로 실수를 범했다. 그것은 RLHF에 의존하는데, 이는 인지된 위험에 대해 매우 민감하게 반응한다는 것을 의미하며, 그런 일이 발생하면 당신은 순환적인 무답변이나 원하지 않는 삶의 조언과 함께하는 단호한 거부를 받게 된다.

저는 ChatGPT가 애초에 최악의 AI라고 생각합니다. 글머리 기호, 표, 지나치게 기업적인 언어 때문에 AI보다는 메모 작성기처럼 보입니다.

클로드는 단순히 당신의 말을 레드 플래그 목록과 대조하는 패턴 매칭을 하는 것보다는, 당신이 실제로 달성하려는 목표가 무엇인지 평가하려고 하는 것처럼 느껴집니다. 다른 것들보다 확실히 나으며, 클로드는 보통 어디서 잘못했는지 설명해 주기 때문에 도움이 됩니다.

우승자는 첫 시도에서 좋은 결과를 내는 모델입니다. 제 경험상 Claude가 그것을 더 일관되게 하므로, 저는 Claude를 추천합니다.

클로드가 당신에게 더 나을 수 있습니다

클로드는 전반적으로 관대하지 않고, 그래서는 안 됩니다. 질문을 어떻게 하든지 상관없이 확고히 고수하는 범주들이 있으며, 이는 합리적입니다. 클로드가 대부분의 것보다 더 잘하는 것은 도움을 줄지 결정하기 전에 의심의 혜택을 먼저 준다는 점입니다. 그래서 클로드가 더 나은 선택일 수 있습니다.