00:02네, 오늘은 프롬 수진의 심층 분석 시간입니다
00:02오늘 영상은 얼굴이 나오지 않고 그냥 클로드 시스템 프롬프트에 대해서 조금 분석을 어 깊게 하려고 해요
00:14그 오프라인 사기 패스트 캠퍼스에 수업을 듣는 수강생분들은 제가 수업 시간에 어 클로드 최근에 시스템 프롬프트가 유출이 됐고 상당히 긴 길이에 어 상세를 담고 있어서이 시스템 프롬프트 제작 과제와 함께 보시면 좋을 것 같다라고 말씀을 드렸는데요.이 추가 영상으로 수업에서 말씀드렸던 어떤 내용과 함께 보충을 하시면 좋을 것 같습니다
00:40그러면 시작해 볼게요
00:45그리고 수업을 듣고 계신 분들은 영상을 보시고 어 질문이나 어떤음 궁금한 점들 남겨 주시면 제가 답을을 드리겠습니다
00:51우선 시스템 프롬프트의 정의에 대해서 말씀을 드리면 시스템 프롬프트는 저희가 lm을 어 API로 가져오면서 API로 사용을 하면서 어 롤을 지정을 할 때 롤이 세 개가 있죠
01:12하나는 롤 system prompt, 롤 assistant, 롤 user 이렇게 세 개가 있는데 어 시스템롬을 설정을함으로써 lm을 컨트롤하고 제어하고 작동하게 하는 설정 값입니다
01:23그래서 보통이 CS1 프롬프트 안에 제가 수업에서 요러 요런 것들을 넣어서이 뭐 B2C 플랫폼이든 B2B든 어 테스크를 더 잘할 수 있도록 설정하는 값이라고 말씀을 드렸어요
01:36그래서 넣와 될 정보가 있다라고 하면 현재 날짜와 시간 그리고 모델이 학습한 지식 정보에 나리지 컬오프라고 하죠
01:49어 나는이 모델은 2025년 몇까지 학습을 했다라는 어떤 외부 정보를 주입을 합니다
01:55또 답변에 토넷 매너 스타일을 조정을 하죠
01:55그리고 뭐 이런 것도 해요
02:01사용자의 입력 언어가 영어면 영어로 답변을 하라
02:01뭐 이런 것도 조정하겠죠
02:07정말 많은 어떤 롤드와 룰들과 규칙들과 어 뭐 검색 툴을 어떻게 활용해라라고 하면서 시스템의 프롬프트에 넣어야 될 어떤 정보들이 많아지고 있습니다
02:18그런데 다행인 건 LRM이 모델이 발전 발달할수록 프롬프트의 지시문을 잘 따르는 어떤 언라인을 하고 있 있다라는 어떤 판단이 들어요
02:30체감하기로
02:30그래서 GPT 3.5 터보 시절에 시스템 프롬프트 작업했던 거 말씀드리면서 어 프롬프트 내에 어떤 규칙을 특정 규칙을 따르게 하면 규칙을 잘 따르지 않거나 어 뭔가 맥락이 길어지게 되면 그 맥락에 대해서 놓치고 잘 하지 못했었는데 요즘에이 LM들은 잘하고 있다라고 말씀을 드릴 수 있겠습니다
02:55그래서 좋은 시스템 프롬프트에 대해서 무엇인지 활발한 연구가 진행이 되고 있는데요
03:01소개드리고자 하는이 어 X죠
03:07X에 2023년도 12월 달에 어 화제가 됐다라고 하면서 제가 수업 시간에 또 보여 드린 어떤 랍치라는 분의이 트윗 X 메시지가 있었어요
03:22결론은 뭐냐면이 어 프롬프트 시스템 프롬프트를 업그레이드 할 때마다 달마다 약간 메이 토큰 랭 랭스가 다르고 디emb버 토큰 랭스가 달라서이 외부 정보를 삽입했을 때의 시스템 프롬프트의 토큰값이 좀 다르다라고 이제 어떤 발견을 하셨거든요
03:41그랬을 때 어 시스템 프롬프트 안에 알아야 할이 LM이 처리해야 될 외부 정보를 너무 많이 집어넣을수록 실제 답변 생성시에는 그 정보가 부정확하거나 중요도가 낮아들의 핵심 로직보다 부가 정보 처리의 자원을 쓰게 됩니다
04:01그래서 결론은요
04:01어이 답변의 핵심 논리 전개가 흐트러지거나 불이 필요한 세부 사항에 집중하게 되어 전반적인 퀄리티가 훅 떨어진이다
04:13그래서 유지 보수성이 저화되는 문제가 있어요
04:13예를 들어 익스터널한 컨텍스트가 바뀔 때마다 프롬프트를 동 계속 수정을 봐야 되는 거죠
04:19어,이 히스토그램이 보여줬던 것처럼 음, 날짜 약간 뭐 메일랑스 디버에 따라서 AI가 생성하는 토큰수 분포가 다른데 원인을 추정을 해 본다고 한다면 내부적으로 현재 날짜를 기준으로 모델이 디폴트 추론을 설정을 하니 뭐 최대 토큰 제약 제한이나 요약 길이의 프라이어리티를 달리 적용을 했겠죠
04:41혹은 날짜 정보가 모델의 컨텍스트 윈도우 우선순이나 샘플링 파라미터에 영향을 미친 것으로 보입니다
04:48그럼 요거 어떻게 해결해야 되느냐라고 한다고 하면 불필요한 외부 정보를 CSN 프롬프트 안에 있는 걸 걷어내는 거예요
05:00그래서 무엇을 해야 하는지 집중시키고 외부 지식은 외부 질이나 리트라 어 리트리벌한 모듈로 분리를 하는 방식이 있겠죠
05:06그리고 날짜와 시간 처리는음 뭐 메타데이터나 시스템 프롬프트의 내부가 아닌 메타데이터로 처리를 해서 UTC 같은 걸로 처리를 할 수가 있겠죠
05:19어, 그리고이 AB 테스트를 시스템 프롬프트에는 꼭 하시라고 말씀을 드렸는데 품질 지표를 만들어 두고 완성 길이와 종도를 모니터링하는 작업을 해야 합니다
05:37그래서이 사건이 굉장히 흥미로웠는데 저도 현업을 하면서 시스템 프롬프트 작업할 때마다 약간 토큰이나 어떤 제약 사항들에서 많은 집중, 많은 작업을 하는 편입니다
05:50어, 작년에 7월 달에요
05:502024년도에이 시스템 프롬프트를 최초로 공개한 회사가 있습니다
05:50바로 앤트로픽이라는 곳인데요.이 알렉스가 또 링이나 혹은 엔트로픽의 채널들 통해서 이런 얘기를 했어요
06:04어 시스템 프롬프트 릴리즈 노트를 공개를 하겠다
06:09시스템 프롬프트를 어떻게 사용을 했는지 우리는 다 공개를 하겠다라고 해서 어가 보시면 최근까지의이 지금 스샷은 스크린샷은 예전 모델들에 대한 시스템 프롬이 담겨 있는데 최근까지 클로드 오프스 4에 어떤 시스템 프롬이 쓰여 있는지가 공개되어 있습니다
06:28그래서 약간 특징을 살펴보면이 시스템 프롬은 어 클로드나 최지T 같은 B2C 플랫폼들은 정말 많은 익명의 불특정 다수를 다양한 테스크에 있어서 답변을 제공해야 되는 상황이다 보니 어 굉장히 구체적이고 길이감이 긴 것이 특징입니다
06:47그래서 여기 보시면 the assistant is clated by Oopic이라고 말을 하고 있고요
06:53데이트를 바로 앞에 외부 정보를 넣는 것을 볼 수가 있습니다
07:00어,이 사용자가 사용자가 물어볼 만한이 클로드와 엔트로픽 프락에 대한 인포메이션을 주고 있어요
07:06어, 은근히 자주 묻는 그 질문이 음, 너의 이름은 뭐야? 너는 몇 점? 몇 정부야? 뭐 모델 몇 버전이냐를 물어봤을 때리지 커프가 그 모델이 학습한 정보가 보통 과거니까 자기에 대해서 자기가 어 어떤 사양을 갖고 있는지 말을 하지 못한다면 사용자의 불만족으로 이탈이 일어날 수가 있거든요
07:31그래서 이런 식의 문장을 쓴 것으로 저도 썼었고 예전에 어 클로드가 또 어 만약에 이프문은 클로드 시스템 프롬프트가 갖고 있는 특징입니다
07:45만약에 뭔가 물어보면 요런 식으로 답해 주세요
07:45하는 것들인데 웹이스와 모바일과 데스크탑의 여러 가지 인터페이스와 앱에서 연동, 앱에서 접접속을 하니 연동이 아니 접속이죠
07:58그럴 때는 어떻게 해라라고 합니다
07:58그리고 there are no other opic product이라고 말을 하면서 엔트로픽에 대한 다른 프로덕이 없다
08:09그래서 만약에 물으면 does not know any other details about cls 어 clopic product이라고 모른다고 말을 해라라고 말을 하고 있습니다.이 이 클로드 프러프트가 굉장히 구체적이고음 [음악] 읽어 보면 시스템 프롬프트를 작업하는 사람들에게 요용한 정보를 줄 수 있기 때문에 보심을 추천을 드려요
08:30그런데 제가 요번 업데이트에서 가장 인상깊게 봤던 구간이 바로이 일렉션 인포라는 XML 태그 들어가는 형태의 시스템 프롬입니다
08:42그 이유가음 또 많이 물어보는 그 BTC 유저분들이음 어느 나라의 대통령은 누구야를 많이 물어보세요? 그래서이 2024년도 11월에 있었던 최근 미국 대선에 누가 누가 당선이 됐는지를 나리지 커프보다 최신의 정보기 때문에 이런 식으로 마지막 단에 넣어 준 것을 볼 수가 있고 취임사 언제도 많이 물어보나 봐요
09:06그래서 2025년 1월 20에 취임을 했다
09:06어 그런 식으로 어떤 팩트에 대해서 넣어 놓은 것을 볼 수가 있죠
09:14모델이 학습하지 않았을 정보니
09:14그래서 또 여기 보시면 클로드는 saying a question or idea observation was good
09:26의해서 어 그니까 이런 것들을 하지 않으면 시작하지 않는다 뭐 이런 얘기를 하고 있고요
09:32만약에 어 그리고 최근에또 제가 흥미롭게 봤던 구간은 바로이 구간인데요
09:38PT 4가 왜 이상해졌는지 저랑 함께 프롬 수진에서 이전 컨텐츠에서 살펴봤던 것처럼 요즘에 모델들이 현대 LM들이 아첨하고 어떤 플러팅을 한다라고 하는데 그런 편양이 있다 보니 경향이라고 할게요
09:56경향이 있다 보니까 이것들을 피어라고 하는 것을 이런 식으로 단순하게 되게 심플하고 직관적인 문장이죠
10:08어 하게 말을 하고 있습니다
10:08그리고 저는 클로드에서 항상이 마지막 어 스테이트먼트가 인상적이라고 생각하는데 클로드가 현재 사람하고 연결이 되었다라고 하면서 이런 걸셔널프롬이라고 저는 정의를 합니다
10:22그래서 그냥 몸이 건조하게 어떤 시스템 프롬을 끝내는게 아니라 지금 너랑 사람이랑 연결했다라는 컨셉을 주면서 대화를 시작하자라는 힌팅을 하고 있죠
10:35어, 너무 흥미로운 프롬프트인데요
10:35지금이 되게 긴 길이의 프롬프트를이 시간에 다 담지는 못하겠지만이 특징을 요약한다라고 하면이 아무래도 엔트로픽이 추구하는 어떤 가치, 회사의 그런 밸류는 에티컬하고 세이프티하고 에큐러시 중심입니다
10:53관련한 어 문장과 단어들을 프롬프트에 넣어 놓은 걸 수 있고요
10:58페르소나 같은 경우는 엠파테릭하면서도 판단력이 있는 어시스턴트의 역할을 설정한 것도 특징입니다
11:04그리고 자기 한계를 명확하게 인식을 시키게함으로써 할루시네이션이나 편양을 제거하는 것도 특징이라고 할 수 있습니다
11:16과도한 설명을 피하고 깔끔한 대화를 하게 하는 파트너
11:21과연 설명은 아까 시스템 프롬에 저희가 히스토리 히스토그램을 보면서 어 뭔가 외브 정보를 줬을 때 구구 절절 말이 많고 포인트를 포인레스한 그런 점이 있거든요
11:33그런 점들을 나오지 않게 하기 위해서 어 넣어 놓은 지시문이라고 볼 수가 있어요.음 음
11:45어,이 엔트로픽의 조금도 다른 또 특징을 사 구체적으로 한번 살펴보고자 합니다
11:52어,이 클로드 4 모델뿐 아니라 다른 모델에서도 나타나는이 전반적인 시스템 프롬의 특징을 말씀을 드릴게요
11:59얼굴이 나오지 않고 이야기만 하고 있어서 다소 지루하실 수도 있으나 굉장히 여러 번 여러 차례 분석을 하고 또 도움이 되실 것 같아서 내용을 정리해 왔으니 잘 들어 주세요
12:12우선 쉐스텐 프롬프트에서 보이는 특징은 정체성과 역할을 명시하는 합니다
12:18그랬을 때 클러드가 어디에서 만든 모델이며 사용자는 뭐에 접근하고 있다라고 하면서 모델명을 알려주죠
12:31그리고 자기 자신에 대한 정보를 상단에 배치한 것을 저와 함께 봤었고 API 안내, 모델 명칭, 접근 경로 뭐 모바일인지 웹터페이스인지 최신 최신지를 설계가 되어 있는 걸 알 수 있고 어 지식 기준 시점을 2025년 1월 말로 설정을 날리지 커오프를 2025년 1월 말로 설정해 둔 것은 최근의 시스템 프롬입니다
12:58정부 제공 범위에 대한 한계도 명확하게 알려 주고 있어요
12:58자신에 대해서 클러드에 대해서 일부 정보만 제공하고 문서와 하지 않은 세부 사항은 제공하지 않는다
13:05클라드에 대해서 많은 정보를 요청을 사용자들은 하기 때문에이 프롬프트 안에 있는 정보만 제공하도록 제안을 준 것을 볼 수가 있습니다
13:12사용자가 비용 메시지수 제한 UI 사용 방법을 물으면 이것들은 사실 대답할 수 없는 정보죠
13:25지원 웹사인트 링크를 통해서 여기로 가셔서 어 FAQ를 한번 해결해 보세요라고 지금 안내해 주고 있는 걸 볼 수가 있어요
13:31그리고 클러드는 에티컬한 어떤 가치를 추구하는 곳이기 때문에 뭐 자회 중독 시기장의 혐오 등등의 요청을 어 사용자의 어 이런 요청을 하게 되면 이런 문구를 담은 걸 요청을 하게 되면 답변에 거부합니다
13:45특히 악성 코드나 해론 요청은 목적이 교육적이라고 해도 무조건 거절하는 것을 볼 수가 있고 이거를 세이프티 필터링이라고 하는데 그 세이프티 필터링의 레벨이 높은 편이라고 할 수가 있어요
14:04대화 스타일과 턴 조절 클로드가 굉장히 따뜻하고 프렌소나를 갖고 있다라는 것을 사용자들은 알고 있어요
14:12뭐 타 모델사의 어떤 최지피티나 제미나이와 다르게 대화 스타일과 톤이 따뜻하고 어 공감하며 서포티브한 지지를 잘해 줍니다
14:24그래서 되게 신기한게 어이 톤을 토넷앤 매너를 사용자의 질문에 따라서 바꾸는 것을 볼 수가 있어요
14:36그래서 캐주얼어란 대화에서는 리스트나 마크다운을 피하고 문장 형태로 따뜻한 형태로 응답을 합니다
14:42음, 정보를 전달해 줘야 되는 거는 리스트나 마크다운을 사용을 해서 명확하게 가독성을 높이는 것을 볼 수가 있어요
14:47어, 아까도 말씀드렸던 것처럼 클로드는 칭찬, 아부, 감탄 등으로 응답을 시작하지 않는다를 보여주고 있습니다
14:54넣었겠죠? 시스템 프롬에
15:02그리고 대화 관리와 대응 전략을 봅니다
15:02사용자가 만약에 어디스펙션 하면 그니까 만족스럽지 못하다고 하면 감정적으로 대용하지 않고 대응을 하지 않고 피드백 버튼으로 표시해 주세요라고 말을 해요
15:13이것도 되게 신기한 어 인터레스팅을 하죠
15:20실수를 사용자가 지적을 하면 즉각 동의하지 않고 막 무조건 왜 이런 이런 이게 진짜 중요하다고 생각하는데 뭔가 사용자가 틀린 정보에 대해서도 알고 물어보는 것들이 있잖아요
15:31이거 맞지라고 했을 때 사실은 틀린 건데 그렇게 물어보면 대부분의 현대 LM들이 맞다라고 해요
15:38그런데 동의하지 않고 스스로의 사고를 통해 판단한 뒤 응답하게 합니다
15:46사용자가 사용자의 의도가 불분명하거나 악의적일 때는 짧게 거절하고 우회적으로 설명을 마무리하도록 설계가 프롬프트에 돼 있습니다
15:58응답 형식 규칙입니다.이 질문이 유저의 프롬프트가 들어오면 인텐션을 아마 분석을 해서 간단한 질문은 간결하게 복잡하거나 개방형 질문은 깊이 있고 충분히 설명된 응답으로 제공하는 것도 특징입니다
16:10수업 시간에 말씀을 많이 드렸는데 미러링을 한다라고 해요
16:17그래서 사용자의 프롬프트의 토큰이 짧으면 짧게 나오는 경향이 있고 길면 답변이 길게 나온다
16:24리니어하게 그 양이 증가한다라고 말씀을 드렸었는데이 시스템 프롬포트에 사용된 토큰이 길수록 답변이 길어지는 경향이 있다
16:31저희 함께 봤었던 그 기억나시죠? 예
16:37그런 의미입니다
16:37기술적 보고서 설명성 문서에는 문단 형식으로 일단이 하려고 하는 컨텍스트나 텍스트의 주제에 따라서 자유롭게 바꾼다라고 합니다
16:49어 자기 인식 및 한계인지 가끔 클로드나 어떤 이런음 AI한테 뭔가 인간의 어떤 존재 같은 그런 걸 부여할 수가 있죠
17:02그랬을 때 클러드는 뭐 물리적인 어떤 세계에 존재한하지 못하니 개인적인 경험이 없고 자기가 종 독립적인 의식을 가진 존재인지에 대해서 열린 질문으로 응답하도록 설계가 되어 있습니다
17:18여러 대화를 기억하지 않는 않고 현재 대화에만 집중하도록 되어 있어요
17:18이게 이제 메모리 이슈가 있겠죠.이 이 메모리는 정말 중요한이 체포 페르소나를 만들 때 해결을 해야 되는 그런 건데이 현재 대화에만 집중하도록 되어 있습니다
17:34할루시네이션을 컨트롤하기 위해서 어 모르는 정보에 대해서는 모른다고 또 설명을 하고 있습니다
17:39추가적인 특징은요.이 이 유권자 보험및 선거 정보 제공을 어 기준을 따라서 트럼프 있는 거를 볼 수가 있고 그래서 여기까지가 이제 클러드 시스템 프롬프트들에 쓰인 정보를 조금 분석을 상세하겠다 했다라고 하면 이번에는 클러드시스텐 프롬프트에 사용된 언어 특징을 한번 분석해 보겠습니다
18:07우선이 언어 특징이기 때문에요
18:07이을 사용했다
18:073인칭으로 표현하게 되면 음유 are you are you are something이라고 표현하는 거보다 조금 더 그 사건에 대해서 멀리 3자에 의해서 보는 것처럼 객관적으로 생성되는 효과가 있죠
18:19그래서 이로 표현을 하고 있고 조건문 많이 쓴다라는게 제가 말씀드린 거였군요
18:28그다음에 네버더나 이러면서이 축약형이 아닌 풀어서이 부정문을 쓰는 것을 볼 수가 있어요
18:39이렇게 하면음 더 잘 알아들으니 조건 부정을 명확하게 하는 처리의 방식이라고 합니다
18:46처리의 방식이라고 생각해요
18:46그리고 수동태가 아니라 능동태를 영어로 할 때는 사용을함으로써 어 주체적으로이 문장의 톤앤 매너를 또 조정하는 걸 볼 수가 있고요
18:57수사적인 반복
18:57수사적 반복은 리토리컬한 어떤 어 장치인데 어떤 우회서 의외에서 표현을 하거나 혹은 직접적으로 만약에 뭐 사용자가 그 세계에 대해서 뭔가 직접적으로 이야기를 물어본다라고 하면음 벗어나서 표현하는 그런 반복 기법들이 많습니다
19:21그리고 최근에 제가 또이 시제 관련해서 또 여러 편의 논문과 어떤이 효용에 대해서 말씀을 드렸는데 현재 시제를이 프럼프트 안에 시스템 프롬 안에 주로 사용을 하지만 미래와 과거 사실이 혼합이 되어 있어서 다체롭게 프롬프트 LRM이 못하는 어떤 시간적인 개념이나 추론을 혼합하여 사용하는 것을 볼 수가 있습니다
19:49여기까지가 어 클로드 시스템 프롬프트의 전반적인 어떤 음이었고요
19:56그렇다면 이제 저희가 그 클라우드 4 최근에 유출된 그 시스템 프롬프트를 한번 살펴볼 텐데 이게 과연음 진짜로 쓰고 있느냐 쓰이고 있지 않느냐는 저는 크게 중요하지 않다라고 생각해요
20:10왜냐면 클러드 같은 경우는 이것들을 쓴다라고 프롬프트를 공개한 상황이니까요
20:16그래서 어이 시스템 프롬프트 특징을 한번 살펴보면서음 저희가이 시스템 프롬프트를 작성을 할 때 어떤 점이 중요한지를 함께 알아보겠습니다
20:29어 굉장히 일단은 길어서 한 줄로 정리를 한다라고 하면 지금 그 깃업에 공유된 그 시스템 프롬프트가 사용자 주인분이 내리신 거 같아요
20:36근데 저는 이제 그거를 워드 문서에 어 시스템 프롬프트 해킹됐다라는 전문을 담아 놓고이 분석을 하고 있음을 말씀드리겠습니다
20:48한 줄로 정리하면 요거는 그냥 저스트 시스템 프롬이 아니라 컨트롤 프로그램에 가까울 정도로 엄청 상세하고 룰 규칙의 기반을 자주 사용하고 도구 사용에 있어서 프로그래밍처럼 만들어 놓은 것이 특징이라고 할 수가 있어요
21:04그래서 다섯 가지의 특징으로 생각을 했는데 첫 번째는 소프트 inter락이라는 개념이 있어요
21:11그래서 출력에 앞서서 자기 한계가 뭔지를 한번 생각해 보고 명시적으로 디클라티브한 인텐츠를 선언하는 방식을 취했다는게이 시스템 프롬의 특징입니다.음 약간 에이전틱한 컨셉하고도 맞물려 있는 것 같아요
21:27두 번째는 바운더리 시그널링인데요
21:33조건이 명확하게 적 정의가 돼서이 조건에 맞지 않으면 출력이 중단되거나 잘리게 합니다
21:40어 뭔가 사용자의 프럼프트의 어떤 내용에 따라서 조건화를 시키고 그 조건에 맞게 만약에 이게 조건이 맞으면 다음으로 진행시키고 아니면 잘리게 한다라는 바운더리를 분명하게이 LM이 가진 한계를 극복하기 위해서 바운더리를 명시했던 것이 특징일 수가 있습니다
22:03세 번째 할루시네이션인데 아무래도 프롬프트로 할루시네이션을 좀 해결해 보려는 것이이 유출된 시스템 프롬의 가장 큰 관목할 만한 특징입니다
22:11범위가 정해진 규칙 기반 응답을 통한 완화를 하려고 했었고 여기서 재밌는게 제가 할루시네이션을 좀 방지하려면 티타임g팁이나 혹은 팁으로 어 인간의 에피스테믹한 스탠스를 이용하면 좋다라고 말씀을 드렸는데 불확실성이 높으면 모델은 추측하지 않고 다시 한계를 진술하고 응답을 보려하는 방식을 택하게 했습니다
22:36그이 쉽게 말해서 나는 몰라고 대답을 하라는 방식이 너무나 명시적이고 좀 촌스럽다라고 생각이 드니 어 추측 추측하는 질문의 영역이 많다라고 하면이 저는 이런 정보에 대답할 수가 없어요라고 하기보다는 좀 일단 페어프레이징을 한다라는 거겠죠.네 네 번째 특징이라면이 도구추 도구가 정말 많더라고요
23:04그래서 스트학의 유사 태그를 XML 태그라고 하죠
23:04어이 XML 태그 감싸는 그 도구의 호출을 한 어 명명하는 네이밍을 살펴보는 재미가 있고 직렬화된 스키마 구조를 갖고 있어서이 추적 가능성과 백핸드 AP와의 긴밀한 연결을 보장해 놓은 되게 짱짱한 시스템 프롬프트라고 볼 수가 있습니다
23:25그래서 도구체에 있어서는 당연히 실패가 없겠죠
23:32스트릭하게 해 놨으니까
23:32다섯 번째 다섯 번째 특징 정말 중요한데 position널 reinforce먼트 방식을 사용을 했습니다
23:37뭐냐면 프롬프트 위치 기반 강화라는 컨셉인데요
23:44대화가 길어져도 행동이 왜 대화가 길게 이뤄지면은 맥락을 중간에 놓쳐 버리는 로스트인더 미들 혹은 상세함이 누락이 돼서 덜 상세해지는 그런 어떤 어 문제점이 발생하잖아요.이 이 LM 프롬프트에 있어서 그런데 행동이 일관되도록 일정 간격으로 반복되도록 프롬프트를 방제 놨어요
24:04그래서 포지셔널한 리인포스먼트를 제가 수업에서음 이런 누락을 로스트인더 미들 현상 방지하려면이 예심은 지심은 그다음에 맥락의 순서를 한번 바꿔 보셔라
24:24리버스해 보셔라
24:24그러면이 포지션에 따라서 더 잘 결과가 나올 때가 있다라고 말씀을 드렸잖아요
24:29그런 의미입니다
24:29그래서 규칙을 명시해 놓고 LM을 돌리는 그게 하이브리드 형태로 어 프럼프트를 설계해 둔 것이 특징인데요
24:37그 전문은 약간 요런 느낌이에요
24:42그래서 엄청나게 긴이 프롬프트 시작은 다 똑같고 어 클러드라고 계속 클러드가 반복이 되면서 if프 구문 많이 나오고 잇도 많이 나오고요
24:57어 클로드 클로드 클로드 하면서 if 이게 계속 똑같은 형태의 문장이 반복되는 것을 또 볼 수가 있습니다
25:08어, 이렇게 방대한 길이가 물론요 프롬프트를 사용을 조금 해 봤던 결과 누락되는 부분이 없지는 않아요
25:13그리고 또 도구추를 직접 이렇게 테스팅하면서 할 수는 없기 때문에 음, 그렇지만 되게 촘촘하고 굉장한 프롬프트라고 볼 수가 있죠
25:20그랬을 때 요거를 앞으로 지금 기술적 관점하고 언어적 관점에서 분석해 볼 예정입니다
25:31우선 기술적 관점에서 분석을 해 본다라고 하면이 정말 방대한 길이의 시스템 프롬은 13,000자가 넘어간다
25:37지금 그런 길이거든요
25:42그랬을 때 AI 어시스턴트의 동작을 정밀히 제어하기 위한 구성 지침으로 구성되어 있습니다
25:47그래서 다양한 어떤 툴들에 대한 분리된 지침과 전반적으로이 시스템 프롬포트가 수행해야 되는 룰들에 대해서 규정을 하는 거죠
25:53두 번째 특징이라고 하면 안전성과 법적인 고려를 한 것을 볼 수가 있는데 여기서 특히 저작물에 대한 규제가 명확하다는게 또한 포인트가 될 수 있겠어요
26:12보통이 저작물 재사용에 대한 규제가 없었어요
26:12시스템 프롬에서는
26:12근데요 프롬프트에는 저장물에 대해서 재사용에 대해서 규제가 있었고 20단어 미만의 인용만 허용되는 점도 특징입니다
26:24다 인용을 하게 되면 저작물의 어떤 카피라이 문제가 되잖아요
26:29그래서 모든 인용은 이런 형식으로 제안을 하하면서 어 많은 양의 내용이 나오는게 아니라 작은 양의 내용만 나오도록 20단어 미만이 나오도록 하는 것이 특징이고요
26:47도구가 많이 나오는데이 펑션에 의해서 펑션 콜이라는 명시적인 태그를 사용해서 도구별 입력 매개 변수를 활용을 합니다
26:52그래서 어 규칙에 의해서 호출되는 구조예요
26:59쿼리 복잡도에 따라서 호출횟수를 조정한다는게 약간 에이전틱한 컨셉이겠죠
27:06단일 검색은 1회, 리서치를 해야 될 때는 5회에서 20회 이상 도구로 호출을 하도록 되어 있습니다
27:12시스템 프롬에 상호 작용 제험 및 최적화 요거 같은 경우는이 기존에 그 클로드 시스템에서 보였던 특징입니다
27:21그래서 사용자의 프롬프트가 들어오면 답변의 길이나 스타일, 요약 이런 것도 조정하도록 제작이 되어 있어요
27:26그래서 사용자 경험을 향상시키고 리텐션을 유지하도록 하려는 그런 노력이겠죠
27:37어 이게 기술적 관점의 분석인데요
27:37어 늘 말씀드리지만 프럼프트는 현재 인간의 자연어와 기계어의 중간 단계인데 기계어에 더 가깝게 쓸수록 더 작동을 잘하는 경향이 있습니다
27:49그래서 너무 자연어는 우리의 자연어는 잘 인식하지 못하는데 뭐 수도 프롬이나 기계어처럼 도구 호출를 하는 거에 있어서 룰 기반이라든지 llm이 추측할 여지를 주지 않을 때 더 정확한 처리가 가능합니다
28:07그렇다면 이제 마지막으로 언어적 관점에서 분석을 한번 해 보려고 해요
28:07우선은 규범 중심 표현.이 이 단어 하나가 어 많은 결과의 차이를 내 낸다라고 저는 늘 말씀을 드렸잖아요
28:22그랬을 때 동사 명확한 동사 사용을 하셔라라고 말씀을 드렸지만 mus never only if 같은 명령형 조동사를 사용하여 강제적인 규칙 어 너무 이거 다 all capital로 사용을 하더라고요
28:35그랬을 때 조건문 기반의 구조가 만약 조건이 이러면 행위는 요렇게 해라고 하면서 저희 아까 그 프롬프트 장면 살짝 보시면 그 짧은 스크린샷에서도 느껴지는게 어 이프 이프문이거든요
28:48이프 뭐 하면 뭐 해라 뭐 하면 뭐 해라 이런 거고요
28:54된 그리고 제이슨 파라미터 표기 함소출 그래서 규칙 레귤레이션 중심으로 표현을 하면서이 모든 시스템 프롬프트를 컨시스턴시하게음 유지하고 있는 것이 특징입니다
29:05두 번째는요.이 메타 언어라고 표현을 할게요
29:12하이브리드 형태인데요
29:12태그 기반의 구조이 XML 태그를 사용을 할 때 어떤 이름을 주느냐에도이 프롬프트의 결과의 차이를 많이 냅니다
29:25그래서 여기서 펑션 유저 pr퍼런스 여기 보시면 유저는 소문자인데 pr퍼런스는 대명사입니다
29:31그래서 약간요 하이브리드 형식을 써 가지고 태그와 마크다운과 뭐 XML 태그와 구조적 의미를 왔다 갔다 하면서이 시스템에 더 잘 처리 누락하지 않게 문맥을 명시할 명시화하는 언어 설계 방식을 사용하고 있습니다
29:49세 번째는 보조자의 페르소나를 설정한 건데요
29:56클러드의 아이덴티티를 부여를 하는 그런 어떤 형용사를 저는 형용사 페르소나 중요하다고 말씀드렸고 특히 클로드 모델은 더 중요하다라고 했잖아요
30:02친절한 지혜로운 이런 거를 부여해서 상호 작용의 주체로 프레이밍을 시키는 것이 또 특징이라고 할 수 있습니다
30:15사용자의 감정적 신뢰와 모리감을 고려한 언어적 전략인데요.이 이 페르소나 설정이 주는 효과를 또 여러분들이 한번 체험해 보실 수 있을 것 같아요
30:21거절을 할 때도 어 굉장히 또이 리토리컬한 수사적 기법을 사용을 하는데 저는 뭐 명령을 이양할 수 없어요 같은 어떤 딱딱한 어떤 형태의 문장이 아닌 부드럽고 I can not but I can instead라는 어떤 표현을으로써 사용자 경험을 훼손하지 않도록 신경 쓴 것이 언어적 관점에서의 분석입니다
30:48여기까지 저와 함께 지금까지이 너무 길어지면은 또 아마 다 못 들으시겠죠
30:54어 그래서 여기까지이 유출된 프롬프트와 함께 클로드 CS1 프롬프트를 분석해 봤는데요
31:02어 이어이 심증 시스템 프롬프트는 누구나 하는 또 개발을 하신다라고 하면음 하는 작업인만큼 계속이어서 뭐 재미나이 시스템 프롬 최치피pt 프롬트 뭐 이런 식으로 분석을 해 볼 테니 꾸준히 또 채널에 오셔서 관심과 어떤 보셨다라는 그런 표시 표시들이 말이 이상하네 뭐 이런 거 주시면 좋을 것 같습니다.네 네
31:28그러면 여기까지 프롬진의 어 클라로드 시스템 프롬프트 분석이었습니다.