아름다운 말에 토큰을 낭비하지 마세요 — 과학이 실제로 ChatGPT에서 효과가 있다고 말하는 것은 이것입니다

LLM에 대한 지침을 작성하는 것은 간단해 보이지만, 막상 출력물을 보면 원하는 것과 전혀 다르게 나오는 것을 깨닫게 됩니다. 문장 표현을 한 시간 동안 조정할 수도 있지만, 모델은 여전히 대화체 보조 문구를 제공하거나, 형식 규칙을 무시하거나, 중요한 제약 사항을 건너뛰기도 합니다. 그러나 문제는 보통 모델 자체가 아니라, 프롬프트를 구성하는 방식에 있습니다. 구독 등급에서도 일반 ChatGPT를 사용하게 됩니다. 지침을 구성하는 방식을 조금만 바꾸어도 결과를 개선할 수 있다는 연구가 많이 있습니다.

그렇게 예의 바르게 굴지 마

인사말을 생략하면 AI가 실제 지시에 집중하게 됩니다

저는 거의 모든 프롬프트를 '부탁합니다'로 시작하곤 했는데, 자연스럽게 느껴졌기 때문입니다. 그러나 그 습관은 성능을 떨어뜨리고 비용이 많이 듭니다. 일상적인 예의를 프롬프트에 포함시키면 컨텍스트 창에 쓸모없는 토큰 노이즈가 추가됩니다. 대부분의 사람들은 이러한 빈 추가물이 성능에 해를 끼친다는 것을 깨닫지 못한 채 대화용 채우기 문구에 사용 가능한 토큰의 많은 부분을 낭비합니다.

ArXiv 연구는 수학, 과학, 역사 등 과목 간 예의 차이가 객관식 정확도에 미치는 영향을 직접 측정하여 이를 직접 검증했습니다. 결과는 모든 정상적인 인간 사회적 본능에 반합니다. 매우 공손한 질문은 80.8%의 정확도를 기록했고, 매우 무례한 질문은 84.8%를 기록해 예의만 빼는 것만으로도 지시 따르는 과제가 약 4% 향상되었습니다.

프롬프트의 모든 토큰은 처리 과정에서 제한된 주의(attention)를 두고 경쟁합니다. 예를 들어 '친절하게 요약해 주시겠습니까?'와 같이 작성하면, 모델은 유용한 정보를 전달하지 않는 '친절하게'와 '친절' 같은 단어에 대해서도 주의 점수를 계산해야 합니다. 이를 '다음 텍스트를 요약하세요'로 바꾸면, 모델은 실제 지시 사항에 모든 처리 역량을 집중할 수 있습니다.

대화 중 불필요한 말들을 제거하는 것은 또한 당신의 프롬프트를 이러한 모델들이 학습된 텍스트 유형에 더 가깝게 만듭니다. 고품질 사전 학습 데이터의 대부분, 예를 들어 과학 문서, 수학적 증명, 소스 코드는 사회적 장식이 없이 직접적이고 밀도가 높습니다.

나는 사양을 줄여 절약한 모든 토큰을 모델이 내가 원하는 일을 하는 데 도움이 되는 실제 제약이나 문맥에 사용할 수 있는 토큰이라고 생각하는 것을 좋아한다.

다시 표현하고 응답하는 방법을 사용하세요

AI가 자신의 논리를 사용하여 당신의 질문을 다시 쓰게 하면 더 명확해진다

두 사람이 같은 메시지를 다르게 해석할 때 오해가 발생하며, 인간과 대형 언어 모델(LLM) 사이에서도 같은 일이 발생합니다. AI에게 프롬프트를 입력할 때, 자연스럽게 대화체 표현과 암묵적인 가정을 사용하게 되지만, 이는 항상 트랜스포머 모델이 정보를 처리하는 방식과 일치하지 않습니다. 따라서 문제의 원인이 자신에게 있을 수도 있기 때문에 챗봇의 정확성을 테스트하기가 어렵습니다.

LLM은 완전히 명확한 질문을 잘못 해석하고 틀린 답변을 줄 수 있는데, 이는 당신의 기준 프레임과 모델의 내부 프레임이 일치하지 않기 때문입니다. UCLA 연구진은 ArXiv에 'Rephrase and Respond'라는 방법을 소개하는 연구를 발표했는데, 이 방법은 모호한 인간 표현을 모델이 자체 구조화된 논리로 번역한 후 답변을 생성하도록 함으로써 이를 처리합니다.

모델은 사용자의 요청을 그대로 받아 즉시 답변을 작성하는 대신, 먼저 질문을 자신의 용어로 바꾸고 확장합니다. 이러한 재표현 단계는 답변을 작성하기 전에 불명확한 표현을 찾아 수정하도록 강제하며, 이로 인해 더 정확한 논리적 기반을 가지고 작업할 수 있게 됩니다.

좋은 예는 "마더 테레사는 짝수 달에 태어났나요?"라는 질문입니다. 이것은 사람에게는 이해가 되지만, 단어 "짝수"가 모델에게는 복잡하게 만듭니다. Rephrase and Respond를 사용할 때, 모델은 답변하기 전에 스스로 해석을 정의하며, 필요하다면 나중에 이것을 수정할 수 있습니다.

이것의 실용적인 측면은 그것이 여러분의 작업 흐름에 거의 마찰을 추가하지 않는다는 것입니다. 원래 물어보려던 것에 '질문을 바꾸고 확장하여 답변하라'와 같은 문구를 추가하면 하나의 프롬프트에서 실행할 수 있습니다. 추가 학습이나 별도의 설정이 필요하지 않습니다.

당신에게 정서적으로 관심을 갖게 하세요

프롬프트에 가짜 긴급성을 추가하면 AI가 계산 능력을 배분하는 방식이 바뀝니다

분명히, AI는 영화에서 보는 감정 없는 기계처럼 논리적이고 차갑지 않습니다. EmotionPrompt라는 개념은 감정적인 요소를 사용하는 것이 AI 출력물을 향상시키는 좋은 방법임을 보여줍니다. 대형 언어 모델은 방대한 인간 커뮤니케이션 데이터를 학습하기 때문에, 인간의 심리적 패턴을 복제하고 감정적 긴급성에 반응합니다.

이 모델들이 학습하는 텍스트에는 거의 항상 고위험 또는 전문적인 위기가 나타난 언어 후에 철저하게 검토된 엄격한 텍스트가 포함되어 있습니다. 쿼리에 '이것은 내 경력에 매우 중요합니다'와 같은 문구를 추가하면 기계의 감정을 조작할 수 있습니다.

이 고위험 언어는 일종의 모드 전환 역할을 하는데, 이는 글쓰기 과정을 사전 학습에서 추가된 높은 검토 경로를 통해 안내하기 때문입니다. 그것은 감정적으로 충분한 이유가 있다고 판단되면 작업에 더 많은 계산 능력을 투입합니다.

이 고위험 언어는 AI가 더 깊은 극단 사례 분석을 사용하고 단축 경로를 덜 사용하도록 강제합니다. 연구자들은 EmotionPrompt가 BIG-Bench 벤치마크에서 115% 상대 성능 향상을 가져오고, Instruction Induction 작업에서는 8% 향상을 제공한다는 것을 발견했습니다.

프롬프트에 대해 더 엄격해지기 시작하세요

제약을 추가하는 것이 매번 이미지를 사용하는 것보다 낫다

저는 사실 이미지를 제공하는 것이 더 엄격한 프롬프트보다 도움이 될 것이라고 생각했지만, 완전히 틀렸습니다. ScienceDirect의 한 연구에 따르면, 모델에 가공되지 않은 제약 없는 프롬프트를 제공할 경우 정확도는 일반적으로 낮게 나타납니다. 의료 진단이나 복잡한 문제 해결과 같은 어려운 과제에서는 가공되지 않은 프롬프트가 일반적으로 60% 정확도 기준을 넘지 못합니다.

쿼리에 제약을 추가하는 것, 예를 들어 단계별 추론 과정을 거치게 하거나, 특정 대상 페르소나를 정의하거나, 엄격한 부정적 제약 목록을 제공하는 것은 성공률을 66% 이상으로 끌어올릴 수 있게 합니다.

기본적으로 당신은 모델이 탈선하지 않도록 유지하고 있으며, 이는 더 정확한 결과를 얻는 데 도움이 됩니다. 연구에 따르면 이미지와 같은 시각적 정보를 프롬프트에 추가하려고 할 때 결과가 더 나빠지는 것으로 나타났습니다. 데이터에 따르면 모델에 고정밀 작업에서 시각적 데이터를 제공할 경우 성공률이 약 46%로 떨어집니다.

그 이유는 AI가 당신이나 내가 보는 방식으로 사물을 보지 않기 때문입니다. AI는 문자 그대로 픽셀을 가져와서 자신의 모델이 처리할 수 있는 수학적 형식으로 변환하고 있습니다. 이는 이미지의 다운샘플링 또는 토크나이징을 의미합니다.

기본적으로 당신은 실제로 볼 수 없는 이미지를 패턴에 따라 수학으로 바꾸라고 요청하는 것입니다. 그런 다음 그것을 해석해서 질문에 답하라고 요청하는 것이죠. 매번 잘 되지는 않을 것입니다.

이 연구들을 당신의 이익을 위해 활용하세요

엄격한 부정 제약 조건을 작성하느라 시간을 더 쓰거나, 자연스러운 예의를 제거하거나, 모델이 답변하기 전에 글을 바꾸도록 강요하는 것은 성가실 수 있습니다. 그러나 자동화된 워크플로우를 구축하거나 포맷 오류가 시스템을 망가뜨리는 복잡한 다단계 문제를 다루는 경우, 이러한 연구 기반 제약 조건을 사용하는 것이 일관성을 보장할 수 있는 유일한 방법 중 하나입니다. 한 번 사용하기 시작하면, 실제로 규칙을 따르는 출력을 얻을 수 있습니다.