00:01안녕하세요
00:01테닉클럽입니다
00:01정말 오랜만에 돌아왔는데요
00:01오늘은 그 구글에서 업로드한 프롬프트 엔지니어링 백서에 대해서 어 좀 빠르게 요약하고 설명하고 이제 리뷰하는 시간을 좀 갖도록 하겠습니다
00:12그래서 이게 어 최근에 나왔는데 사실 이거는 평소에 이제 알고 있었던 개념들이 되게 많이 그냥 반복적으로 나오고 있어요
00:20그래서 이런 것들을 그냥 다시 한번 좀 보고 그럼에도 불구하고 이제 개발자들 사이에서 혹은 뭐 프롬프트 엔지니어 들 사이에서 좀 어 좀 신기한 컨셉들이 몇 가지가 있어서 그것도 소개를 드리고자 합니다
00:39그래서 목차를 보시면은 사실 뭐 제로 프롬프팅이라든지 뭐 퓨셔 프롬프팅 이런거나 뭐 COT나 리액트 이런 것들은 제가 지난 영상들에서도 여러 번 소개를 드렸기 때문에 어느 정도 아실 거라 믿어요
00:50근데 뭐 다시 한번 보는 거는 괜찮으니까 좀 오늘 설명을 어 좀 다시 드리도록 하겠습니다
00:58그래서 인트로덕션 부분에는 이제 프롬프트 엔지니어링이 왜 필요한지에 대해서 좀 대략적으로 설명을 하고 있는데 어 이제이 프롬프트 자체를 작성을 할 때 좀 여러 가지 변수들을 고려를 해야 되는게 되게 많다고 합니다
01:13그래서 뭐 어떤 모델을 쓰는지 그 모델이 어떤 트레이닝 데이터를 사용을 했는지 아니면 모델 설정값이라든지 내 단어 선택 뭐 스타일이랑 톤이랑 구조가 어떻게 어떻게 이제 되어 있는지에 따라이 결과물이 엄청 많이 달라지다 보니까 그래서이 프롬프트 엔지니어링이라는게 사실 되게 주관적이고 좀 바로 뭐 이렇게 넣었을 때 이렇게 바로 되는게 아니다 보니까 이게 고려해야 되는 사항들이 되게 많다고 이렇게 소개를 하고 있어요
01:48그래서 뭐이 프롬프트 엔지니어링이라는 거 자체는 이제 LLM 모델의 그 구조 때문에 이게 필요하게 되어지는데 LLM 자체가 이제 다음 어이 엔진 자체가 다음 단어가 뭐가 될지 예측을 해서 문장들을 만들어내는 그런 구조이다 보니까이 프롬프트를 작성을 할 때도 어 어떻게 잘 작성하는지에 따라 그 이전 토큰들과 그리고 LLM 자체가 학습된 그 트레이닝 데이터에 의해 얘가 답변을 생성을 하다 보니 그거를 잘 작성을 해야만 이거를 제대로 예측을 해서 답변을 생성을 해 낸다
02:23이런 식으로 얘기를 하고 있습니다
02:23네
02:23그럼 처음에는 이제 아웃풋 컨레이션에 대해서 좀 설명을 하고 있는데 얘가 이제 아웃풋 값이라든지 토큰 개수라든지 뭐 템퍼처 값 이거에 대한 설정들을 좀 어느 정도 대략적으로 설명을 해 주고 있어요
02:40그래서 그 중에서 좀 중요한 것 중에 몇 가지는 일단 처음에는 아웃풋 랭에 대해서 좀 설명을 하고 있습니다
02:47그래서 이거는 처음에 이제 LM을 셋업을 하고 프롬프트를 셋업을 할 때 어 중요하게 생각하는 변수들 중 하나가이 LRM이 얼마나 많은 개수의 토큰들을 어 생성을 할지 그거에 대해서 제한을 둔다는 거를 얘기를 하고 있습니다
03:05그 이유가 어 만약에 제한을 두지 않고 그냥 막 다 생성을 하도록 하면은 얘가 이제 에너지 컨션 소비량도 굉장히 많아지고 답변 속도도 굉장히 느려지고 그리고 당연하게도 API 비용이 많이 들게 되잖아요
03:21그래서 이것도 얼마 정도로 얼마나 잘이 제한을 두는지에 따라서도이 LRM의 답변이 좀 정해진다라고 이렇게 얘기를 해 주고 있습니다
03:32그래서 저희가 뭐 어 단편적으로 생각을 했을 때 만약에 LRM이 생성해 낼 수 있는 답변에 제한을 두면은 그 LM의 답변 퀄리티가 떨어지지 않을까라는 생각을 할 수가 있긴 한데 여기서 이제 얘기를 하는 거는 어 아웃풋 랭스에 대해서 제한을 둔다고 해서 얘가 뭐 갑자기 답변들이 너무 심플해지거나 이런게 아니라 그냥 단순히이 LM이 그 이상 토큰에 대한 예측을 그만하겠다라는 것이기 때문에 어 프롬프트 자체가 잘되어 잘 작성이 되어 있으면은 토큰 제한을 둬도 충분히 그 안에서 많은 퀄리티 높은 답변을 받아낼 수 있다고 이렇게 얘기를 하고 있습니다
04:09네
04:09그 외에 이제 샘플링 컨트롤이라는 값들이 있는데 얘가 이제 템처라든지 탑 K, 탑 P라는 것들이 있어요
04:22그래서 저는 지금까지는 사실이 온도 템처링만 좀 어 계속 뭔가 변경을 했었지 탑 K라든지 탑피는 제가 아직까지는 건드려 보지는 않았거든요
04:34이제 템처는 이제 많이 아시겠지만 얘가 이제 얼만큼 창의적인 답변을 내냐 아니면 얼마나 딱 확실한 답변을 내냐에 따라서 그거를 조정을 할 수가 있습니다
04:41그래서 0에 가까울수록 얘는 확실히 그냥 딱 정해진 답변들만 이렇게 답변을 내놓는 거고 1에 가까워질수록 조금 더 창의적인 답변들을 내놓는 거기 때문에 뭐 스토리를 쓰거나 뭐 창의적인 답변을 원할 때는 얘를 템퍼처링을 1에 가깝게 하시면은 되고요
04:58그 외에 이제 탑 K랑 탑 P라는게 있는데요
05:06탑키 탑 K는 어이 모델이 이제 답변을 생성을 할 때 그다음으로 올 토큰들이 뭔지 예측을 하게 되는데 그 예측하는 토큰들 중에서 탑 K 개수의 토큰들만 얘가 답변으로 받아오겠다라고 설정을 하는 겁니다
05:26그래서 만약에 탑케의 설정값이 더 높으면은 조금 더 많은 양을 가져오다 보니까 훨씬 더 청의적인 답변을 내놓을 수가 있고 만약에 탑 K의 설정값이 낮으면 낮을수록 딱 어 그 얘가 제일 많이 그 예측 각 토큰을 이제 예측을 할 때마다 각 토큰에 맞는 그 예측 점수를 먹기는데 그 중에서 가장 높은 애들만 좀 어느 정도 가져오겠다라는 뜻을 뜻해서 얘는 딱 어 정해지고 그리고 확실한 시간 답변들 중에서만 생성을 하겠다라는 뜻입니다
06:01그 외에 이제 탑 P라는 거는 어 저희가 이제 P라는 설정값을 지정을 해 놓으면은 그 지정값 안에서 토큰들이 예측 점수가 그 지정값 안에 있는 애들만 가져오겠다는 뜻입니다
06:18그래서 이거에 대한 뭐 설정값도 0에서 1까지를 정할 수가 있는데 0은 완전 이제 템처링이 0이랑 0인 것과 비슷하고 1로 하면은 이제 LM의 모든 단어들의 어 단어들 LM의 vo러리에 있는 모든 토큰들을 그냥 가져오겠다는 뜻입니다
06:39그래서이 세 가지의 설정값들을 어떻게 선택하는지에 따라이 LM의 모델 어이 생성하는 답변이 이제 점점 달라진다라고 이렇게 얘기를 하고 있는데 여기서 이제 몇 가지를 다 고려를 하고 있어요
06:52그래서 만약에 템처링을 0으로 해 놓으면은 탑 K랑 탑 P는 어 이제 상관관계가 없어진다
07:00아무런 이제 효과가 없어진다
07:00왜냐하면 영어로 해 놨기 때문에 그냥 얘는 딱 llm이 뭐 얘가 확실하다고 생각하는 답변들만 바로 내놓아서 탑 k와 탑에 뭐를 넣어놔도 얘가 이제 아무런 효과가 없다라고 얘기를 하는 거고 마찬가지로 이제 탑 K를 1로 해 놓으면은 템처라든지 탑 P가 이제 상관 관계가 없어진다라고 얘기를 하고 만약에 탑 P피를 0으로 해 놓으면은 이제이 LLM이 어 샘플링한 데이터 중에서 가장 확률이 높은 토큰 가장 얘가 예측 점수를 높게 뽑은 그 토큰들만 가져오기 때문에 나머지 뭐 템처 값이라든지 탑 K 점수가 상관이 없어진다라고 얘기를 하고 있습니다
07:46그래서 이런게 좀 많이 사실 헷갈리고 어떤 값을 지정을 해야 될지 되게 애매한 부분이 있는데 처음에 이제 뭐 시작을 할 때 템처를 0.2로 해 놓고 탑피는 0.95 9, 탑케는 35로 해 놓으면은 웬만해서는 얘가 어 프롬프트를 잘 이해를 하고 그에 맞는 답변을 잘 생성을 해낸다라고 얘기를 하고 있고요
08:01만약에 좀 더 창의적인 답변을 원하면은 이런 식으로 설정값들을 하시면 되고 그리고 만약에 내가 이런 문제들을 해결하고자 뭐 요청을 할 때 만약에 뭐 수학 문제들은 딱 정해진 답변이 있다 보니까 이런 것들은 템퍼 세링을 무조건 0으로 해 놔야만 얘가 창의적인 답변이라든지 실수를 하지 않는다라고 이렇게 얘기를 하고 있습니다
08:25네
08:25그다음으로는 이제 프롬프트 테크닉에 대해서 여러 가지를 소개를 하고 있는데 이런 것들은 웬만해서는 이제 주로 아시는 것들이 많을 거예요
08:36그래서 제너럴al 프롬이라고 해서 제로샵 프롬은 그냥 저희가 평소에 바로 아무런 컨텍스트 없이 어 질문을 날리는 거를 뜻합니다
08:43그래서 예시를 들자면은 뭐 이런 식으로 그냥 her 영화 리뷰에 대해서 이렇게 써 있는 예시가 있고 이거를 긍정적이냐 아니면은 뭐 뉴처 어 뭐 그냥 아무 중간이냐 아니면은 부정적이냐라고 이렇게 판단을 하고 있어요
08:58그래서 얘는 바로 뭔가 예시 구문이나 이런 거 없이 바로 질문을 했을 때 어이 LM이 답변을 해 하는지 이렇게 테스트를 하는 거를 뭐 제로샵 프롬이라고 합니다
09:10근데 얘가 이제 어 뭐 답변을 가끔 뭐 이상하게 할 때가 있다 보니까 그러면 그 프롬프트 자체에 여러 가지 예시 구문들을 같이 넣어서 프롬프팅을 하면은 좀 더 확실한 답변을 받을 수 있다라고 얘기를 하고 있어요
09:25그래서 그게 이제 원샷 프롬이랑 퓨셔 프롬이 있는데 원샷 프롬프트는이 LM 프롬프트 안에 한 가지의 예시를 같이 포함해서 프롬프팅을 한다는 뜻이고 퓨롬프팅은 여러 가지의 예시들을 같이 넣어서 이제 프롬프팅을 한다는 기법을 뜻합니다
09:44어 이제 퓨셔 프롬프팅을 할 때 여기서 되게 좋은 조언이 하나 있었는데요
09:51어, 한 예시 구문들을 한 세 가지에서 다섯 가지 정도를 넣으라고 했고 그리고 뒤에도 나오는데 이런 예시 구문들을 넣을 때도 최대한 다양한 예시들을 넣어야이 LM이 훨씬 더 잘 이해를 해서 여러 가지 유스케이스에 어, 다른 뭐 올바른 답변을 내놓을 수 있다라고 이렇게 얘기를 하고 있습니다
10:09그래서 예시를 좀 보여 드리자면 이거는 지금 이제 퓨셔 프롬이고요.이 이 고객의 피자 주문 사항을 이제 제이슨 형태로 네가 아웃풋을 만들어 줘라고 얘기를 하고 있어요
10:23그리고 이런 식으로 예시 구문들을 같이 넣어 주고 있습니다
10:29그래서 만약에 사용자가 어 스피자를 주문을 했고 치즈랑 토메이 사스랑 페퍼로니가 있다고 하면은 이런 식으로 네가 제이슨을 어 만들어 주면 돼
10:40그래서 사이즈는 스멀이고 타입은이고 어 재료들은 뭐 치즈 토스 페퍼로니가 있다
10:40다른 예시로 이제 얘가 똑같이 뭐 large pizza with tomato sace bas and mella라고 하면은 얘가 이런 식으로 답변을 해야 된다라고 이렇게 두 가지 예시 구문을 넣고 이제 얘가 새로운 질문을 물어봅니다
10:55만약에이 경우에는 네가 제이슨 답변을 어떻게 내놓을 거냐라고 하면 얘가 올바르게 예시 사항들을 참고를 하면서 답변을 해 주고 있습니다
11:02네
11:09그래서 여기 나와 있듯이 그 예시 구문들도 최대한 다양하고 퀄리티가 높아야 되고 잘 쓰여야만 얘가 이걸 제대로 인식을 해서 좋은 답변을 내놓는다라고 이렇게 얘기를 하고 있습니다
11:16안 그런 경우에는 한 가지의 예시가 있더라도이 LLM이 실수를 내고 할루스네이션을 할 수 있는 확률이 높아진다고 하더라고요
11:30그래서 이것도 주의를 하시면서 프롬프트를 쓰시면 될 거 같습니다
11:30네
11:30세 번째 기법으로는 시스템이 있는데요
11:37이것도 사실 다 기본적인 얘기들이라 그냥 계속 빠르게 설명을 드리자면 시스템 프롬프팅은이 LRM 모델의 그냥 시스템 자체에 넣을 프롬프트 그래서 그냥 큰 오버빅 picture 빅피처 프롬프트라고 생각을 하시면 됩니다
11:55그냥 얘가 모델이 어떤 거를 해야 되는지에 대해서 대략적으로 설명하는 프롬프트가이 시스템 프롬프트 안에서 설정을 하게 되는 거고요
12:00컨텍 프럼트는이 LLM 모델이 참고해야 되는 뭐 배경 지식 이런게 있으면은 그거와 관련된 프롬프트를 컨텍프롬이라고 하고 마지막으로 로프롬은 어이 LLM 모델이 어떤 역할을 해야 되는지 그래서 좀 더 뭐 창의적인 스토리텔링이라든지 캐릭터 AI을 만들 때 이런 프롬트가 중요하게 되겠죠
12:21그래서 시스템 프롬트는 다시 말해서 그냥이 모델의 가장 기본적인 역할들이 뭔지, 기능들이 뭔지, 퍼스 그가 뭔지에 대해서 이렇게 얘기를 드리면 되고 컨텍프롬트는 이거에 대해서 배경 지식을 어느 정도 좀 주는 프롬프트를 뜻하고 로프럼트는이 LLM 모델의 성격이라든지 아웃풋 스타일이라든지 보이스를 주는 역할을 하게 된다고 합니다
12:46그래서 시스템 프롬트는 저희가 아까 그냥 제로샵 프롬을 봤을 때 예시랑 똑같이 그냥 이거에 대해서이 리뷰문이 긍정적이냐 부정적이냐 뭐 네가 좀 알려줘라고 하면은 그거를 시스템 프롬프트라고 하고요
13:06네
13:06그다음으로 뭐 로프럼팅은 얘한테 너는 뭐 투어 가이드야
13:12네가 투어가이드인 것처럼 이런 여행 어 뭐 추천 일정 추천들을 해 줘라고 하면은 그 역할에 맞게 답변을 이렇게 생성을 해냅니다
13:18네
13:18그리고 몇 가지 좋은 점이이 PDF 파일 내에서 쓸 수 있는 좋은 뭐 단어 예시들도 같이 이렇게 제공을 해 주더라고요
13:30그래서 프롬프트를 사용을 할 때 뭐 프롬프팅을 쓸 때 이런 여러 가지 예시 단어들을 쓰면은 얘가 훨씬 더 잘 이해를 한다라고 하고 있습니다
13:37그래서 뭐 유머 감각이 있게 써 줘 캐주얼하게 써 줘
13:46뭐 설득력 있게 써 줘
13:46아니면 뭐 이런 식으로 여러 가지 예시를 통해서 그 톤이 다 달라진다라는 거를 제공을 해 주고 있습니다
13:53뭐 마지막으로 컨텍스트 프롬프팅은이 프롬프트 자체에 그 배경 컨텍스트를 같이 제공을 해 주고 있어요
13:58그래서 너는 지금 뭐 80년대에 아케이드 비디오 게임에 대해서 블로그를 써야 돼라고 이렇게 컨텍스트를 제공을 해 주고 그다음에 이제 프롬프트를 작성을 했을 때 얘가이 컨텍스트를 참고를 하면서 훨씬 더 잘 작성을 한다라고 이렇게 얘기를 해 주고 있습니다
14:19네.네 네 번째로는 이제 스텝 프팅이라는게 있는데요
14:24이거는 이제 뭐냐면 처음에 뭐 lm 자체한테 뭐 여행 블로그에 대해서 써 줘라고 하면은 얘가 굉장히 그냥 제너럴한 답변을 생성을 해 줄 거예요
14:35근데 스텝 back팅이라는 건 뭐냐면이 LM이 실제로 답변을 생성하기 전에 먼저 좀 참고할 만한 사항들을 다른 LLM한테 아웃풋을 생성을 하게 한 다음에 거기서 생성된 답변을 프롬프트 전에 같이 넣어서 같이 요청을 하면은 훨씬 더 좋은 답변을 받을 수 있다라고 이렇게 얘기를 하고 있습니다
14:56이게 말로만 설명하면은 좀 직관적이지 않다 보니까 예시로 이제 좀 보여 드리자면 이게 이제 제너럴한 예시예요
15:01그래서 만약에 아무런 그냥 프롬프팅 없이 얘한테 뭐 first shooter 비디오 게임 어 first person shooter 비디오 게임 그래서 뭐 FPS 비디오 게임에 대한 스토리 라인을 네가 써 줘라고 하면은 얘가 정말 제너럴한 답변을 이렇게 내놓는데 이게 사실 내 게임의 특성상 뭐 안 맞을 수도 있고 특화된 답변이 아니잖아요
15:24이제 조금 더 특화된 답변을 원하면은 얘한테 먼저 처음에 어 지금 이제 현존하고 있는 되게 유명한 그리고 인기 있는 이런 FPS 게임들 중에서 좀 되게 어 그 인기의 인기가 있는 다섯 가지 이유들 어떤 스토리라인 때문에 얘가 인기가 있는지 네가 좀 답변을 먼저 생성을 해 줘라고 했을 때 얘가 이번에는 좀 이런 식으로 먼저 컨텍스트 스트를 몇 가지를 생성을 합니다
15:59그래서뭐 예를 들어서 밀리터리 베이스라든지 사이버펑크 뭐 에일리언 좀비 이런게 나오면은 좀 인기가 많다라고 이렇게 다섯 가지 세팅들을 얘가 생성을 했어요
16:06그러고 나서이 답변 자체를 이렇게 프롬프트 안에 포함을 시킨다는 뜻입니다
16:14그래서 컨텍스트를 이런 식으로 제공을 해 주고 여기서 이제이 다섯 가지 중에서 한 개를 선택을 하고 내 게임에 좀 알맞는 스토리 라인을 구체적으로 써 줘라고 했을 때 얘는 이번에 훨씬 더 특화되고 좀 되게 구체적인 답변을 생성을 하겠죠
16:31그래서 이런 거를 스텝 back prompt이라고 뜻합니다
16:37네
16:37다섯 번째로는 체인 오브트라는게 있어요
16:37그래서 이거는 뭔가 되게 복잡한 수학 문제라든지 뭐 정말 복잡한 뭐 보고서를 작성을 할 때 얘한테 바로 답변을 생성하도록 하는 것보다는 스텝바이 스텝 단계별로 생각을 하면서 어네 답변을 천천히 생성을 하라라고 이렇게 알려주는 그런 프롬프팅 기법입니다
16:59어
16:59네
16:59그래서 사실 뭐 이것도 제가 예전부터 계속 그냥 말씀을 드린 프롬트 기법 중에 하난데 얘한테 정말 뭐 간단한 이런 수학 문제를 내놓으면은 얘가 실수를 할 때가 있어요
17:14그 이유가 얘가 빨리 답변을 하려고 하다 보니 이제 실수를내는 건데 얘한테 조금 더 어이 문구를 하나 추가를 해 줬습니다
17:21네가 어 단계별로 스텝바이 스텝 생각을 하면서 한번 문제를 풀어 봐라고 했을 때는 얘는 이번에는 이런 식으로 올바른 답변을 내놓습니다
17:33그래서 이것도 어 체인 오브 thought트라는 기법 자체를 이제 호출을 하려면 그냥 진짜 이렇게 단순하게 이런 문구를 하나만 추가를 해 주셔도 얘가 훨씬 천천히 생각을 하고 단계별로 풀었으면서 훨씬 더 정확도가 높고 퀄리티가 높은 답 답답변을 받으실 수가 있다라는 거를 여기서 보여 드리고 있습니다
17:52네
17:52어 마찬가지로 체인 오브 thought을 할 때 어 이런 싱글샷이라든지 퓨샷 프롬 비키법을 같이 합치면은 훨씬 더 좋은 퀄리티 답변을 받을 수 있다고 해요
18:05그래서 뭐 이런 식으로 예시로 스텝바이 스텝 풀어쓴 예시 문제들을 같이 프롬프트에 넣고 새로운 문제를 뭐 질문을 했을 때 얘가 올바른 답변을 제대로 잘 내놓는 거를 보실 수가 있습니다
18:17네
18:17여섯 번째로는음 일단 여기서 말을 하는게 뭐냐면이 LLM 모델들이 어쨌든 되게 다양한 NLP 테스크에 대해서는 정말 좋은 성능을 보이고 있는데 얘네가 실제로 뭔가 생각을 하고 그 논리를 통해서 뭐 출론을 하고 유출을 해내는 거에 대해서는 아직까지 좀 한계가 있다고 해요
18:43그래서 이게 단순히 모델 사이즈를 올린다고 해서 어 좋아지지 않는다라는 거를 깨달았기 때문에 이제 셀프 cons컨 cons시스턴cy라는 프롬프트 기법들도 많이 쓰일 수도 있다라고 이렇게 얘기를 하고 있는데 얘가 이제 뭐냐면은이 sf consistency라는게 샘플링이랑 maority vering을 합친다고 뜻합니다
19:08그래서 얘가 뭐냐면 처음에 저희가 질문을 날렸을 때 그 질문에 대한 답변을 여러 개를 생성을 하도록 하고 그 여러 개에 생성된 답변 답변들 중에서 가장 많이 공통적으로 나온 답변을 선택을 하겠다라는 뜻입니다
19:24그래서 예시를 좀 보여 드리자면 얘가 이제 뭐냐면 예시로 이런 이메일 문자를 하나 이렇게 제공을 해 준 다음에이 이메일이 과연 중요한 건지 중요하지 않은 건지 네가 클래시파이를 해 줘라고 요청을 하고 있어요
19:36그래서 얘가 어 읽어 보면은 되게 이제 어 AI가 좀 이해하기 힘들 만한 어 인간의 뭐 유머라든지 설as 그리고 friendly 톤 뭐 이런 것들이 다 같이 복합적으로 있다 보니까 단순히 얘가 어 바로 중요한지 안 중요한지를 알기가 어려운 부분이 있거든요
19:59그래서 이런 경우에는 이런 감성 평가를 할 때에는 consistcy를 쓰는게 중요하다고 합니다
20:05그래서 지금 보시면은 얘를 한 세 번 정도 돌려 봐요
20:11오트 1이랑 2랑 3 이런 거를 토대로이 lm이 한 세 번 정도 생각하도록 하는 겁니다
20:17그래서 처음에는 뭐 이런 스텝들을 통해서 아이 이메일은 중요한 거다라고 이렇게 결론을 내놨고 두 번째로 돌려봤을 때는 얘가 중요하지 않다 이렇게 얘기를 하고 있고 세 번째에서는 중요하다라고 이렇게 얘기를 하고 있잖아요
20:30그럼이 세 가지 답변들 중에서 중요하다라고 얘기를 한게 두 번이나 나오기 때문에 결론적으로 아,이 이메일은 중요한 내용이다라고 이렇게 판단을 내리게끔 하는게 self consistency라고 뜻합니다
20:49네
20:49그다음으로는 tre of thoughts라는 것도 좀 간단히 나오는데 얘는 이제 여태까지 예를 들어서 체인 of thought트는 그냥 뭔가의지지 사항을 했을 때 얘가 체인을 이렇게 따르면서 스텝바이스텝 단계별로 그냥 1차원적으로 이렇게 내려가는 거를 뜻한다면은 오프츠는 처음에 인풋이 있을 때 바로 그냥 한 방향으로 내려가는게 아니라이 단계별로 여러 가지 답변들을 이렇게 생성을 하면서 그 여러 가지들 중에서 좀 좋은 답변을 선택을 하고 또 이것 중에서 여러 가지 답변들을 생성을 하고 그 중에서도 이제 좋은 거를 택하고 또 이런 반 이런 광 이런 이제 과정들을 반복을 하면서 제일 여러 가지 이렇게 답변들이 생성이 되는데 그 중에서 좋은 것들을 위주로 얘가 스스로 파이프라인을 이렇게 만들면서 아웃풋을 어 내놓는 거를 뜻합니다
21:36이제 얘는 이제 굉장히 복잡한 뭐 수학 문제, 물리 문제 이런 거를 풀도록 할 때 이런 것들이 중요하게 쓸 수 있다라고 이렇게 얘기를 하고 있고요
21:49어, 그다음으로는 이제 리아트라는 프로프팅 기법이 있는데 이거는 아마 이제 요즘 에이전트들이 굉장히 핫해지고 있는데 에이전트들이 가장 많이 사용할 그런 프롬프팅 기법이라고 생각이 듭니다
22:00그 이유가 뭐냐면 얘가 이제 이런 자연어를 통한 테스크를 얘가 이제 문제를 풀기 시작할 때 그 외에 이제 그 테스크랑 이제 외부에 호출해야 되는 툴s 같은게 있으면은 그래서 뭐 예를 들어서 검색하는 거라든지 뭐 코드를 해석해야 되는 툴들이 같이 있으면은이 리액트라는 프롬프팅 기법을 쓰는게 굉장히 효과적이라고 얘기를 하고 있습니다
22:27그 이유가 뭐냐면 얘는 이제이 프롬프팅 기법 자체가 뭔가 문제를 하나 줬을 때이 스텝바이스텝 단계별로 다 쪼갠 다음에 처음에 생각을 합니다
22:39내가 만약에 서울의 날씨를 알아야 되면은 일단 서울의 날씨를 호출할 수 있는 뭐 웹사이트를 호출을 해야겠네, 검색을 해야겠네라고 생각을 하고 그 뒤로 실제로 액션을 한 다음에 만약에 얘가 정보를 가져왔으면은 그 중에서 또 서울의 날씨 온도가 뭔지 찾아야 되잖아요
22:59그래서 이것도 생각을 한 다음에 또 액션을 취하고 생각을 하고 액션을 취하고 그 단계들을 반복을 하는 거를 리아트 프롬 기법이라고 합니다
23:06어 그래서 이거의 답변 예시를 보면은 지금 얘가 질문을 하고 있는게 그 메탈리카 밴드 멤버들이 총 갖고 있는 뭐 자식의 수 몇 명이냐, 자식이 몇 명이냐라고 이렇게 물어보고 있어요
23:25그래서 이제 zero shot react description이라는 에이션 타이프를 통해서 얘가 이제 실행을 했을 때 이런 식으로 지금 얘가 실제로 생각을 하고 액션을 취하고 답변을 내놓는 거를 리아트라고 합니다
23:35지금 보면은 얘가 이치라는 액션을 통해서네 명의 멤버가 있다라는 거를 지금 처음에 찾았고이 액션 인풋이 그러면이 각 멤버들별로 이제 또 어 자식이 몇 명이 있냐라고 이렇게 찾아보고 있는 거예요
23:54그래서 뭐 how many kids does James have 이러면은 observation이션이 검색을 통해서 three children이라는 거를 찾았고 그리고 생각을 하기 시작합니다
24:05일단이 네버,네 명의 멤버들 중에서 한 명의 멤버는 세 명의 자식을 갖고 있다
24:05그리고 그다음에 두 번째 멤버는 몇 명을 갖고 있는지, 세 번째 멤버는 몇 명 갖고 있는지 이걸 통해서 다 합쳤을 때 10열 명의 자식을 갖고 있다
24:19이런 식으로 이렇게 생각을 통해서 액션을 취하고 하는 거를 리액트라고 합니다
24:26네
24:26그다음으로는 이제 어메틱 프롬트 엔지니어링이라는게 있는데요
24:31이거는 제가 이번에 좀 처음 보는 컨셉입니다
24:31그래서 이게 뭐냐면은 어 저희가 만약에 아직 프롬프트 작성하는게 익숙하지 않으신 분들은 이거를 쓰는게 되게 좀 어려울 수도 있잖아요
24:41그래서 이거 자체를 어이 프롬프트 같은 것들을 자체적으로 그냥 llm이 자동으로 쓸 수 있는 그런 프롬프들은 이제 AP ap라고 해서 mattic프 prompt eng지니어링이라고 합니다
24:58그래서이 모델을 프롬프팅을 할 때 그냥 더 많은 프롬프트들을 생성을 할 수 있도록 프롬프팅하는 거를 뜻합니다
25:06그래서 예를 들어서 지금 보시면은 어 이제 뭐 티셔트 웹사이트에서 채봇을 하나 만들었는데 어 고객들이 뭐 질문을 할 때 뭐 특정 뭐 사이즈 라지 티셔츠를 구매를 하고 싶어라는 그런 요구 사항이 굉장히 여러 가지 경우가 있을 수가 있잖아요
25:25질문할 수 있는 형태가
25:32그래서 그런 유형들을 생성을 하도록 하는 모델 프롬프트도 생성을 하고 있다라는 거를 보여 주고 있는데 그래서 이게 바로 그 예시입니다
25:38프롬프트가 우리는 지금 티셔츠 웹사이트를 입고 어를 갖고 있고 채봇을 지금 학습을 해야 되는데 어이 원 그니까 한 개의 메탈리카 티셔츠 사이즈 S를 사용자가 뭐 구매자가 요청을 할 때 어떤 다양한 방식으로 요청을 할 수 있는지 네가 예시를 좀 생성을 해 줘라고 했을 때 어 되게 여러 가지 경우의 수로 요청할 수 있는 예시들을 이렇게 생성을 했습니다
26:08그리고이 여러 개 중에서 가장 좀 연관성이 높은 예시 사항들을 또 선택을 하도록 하고 그 선택한 인스트럭션 캔디데이트를 통해서 어 이제 뭐 채봇을 더 학습을 시킨다라고 뜻해서 이런 것들을 토대로 뭔가 계속 그냥 반복적으로 더 많은 프롬프트들을 생성할 수 있도록 모델을 프롬하는 거를 AP라고 뜻합니다
26:37네
26:37그다음 섹션으로는 코드 프롬이라는게 나와요
26:37그래서 코드 관련된 뭔가 여러 가지 테스크들을 하도록 원할 때 어떤 식으로 프롬프트를 써야 되는지에 대해서 설명을 해 주고 있는데 사실 이거는 되게 그냥 기본적인 얘기들이라 어 빠르게 넘어가도 좋을 것 같기는 합니다
26:55그래서 이거는 그냥 단순히 뭐 이런 기능에 대해서 코드를 네가 작성을 해 줘라고 했을 때 이런 것들을 잘해 준다라고 보여주고 있고 그 외에도 뭐 코드를 설명을 해 주는 프롬프트 이런 것도 이제 얘기를 해 주고 있는데 사실 이거는 뭐 딱히 뭐 배울 만한 팁이 있는 건 아니에요
27:16그냥 코드를 이렇게 복사를 해서 어 뭐 설명을 해 줘라고 했을 때 설명해 주는 거를 잘한다라고 이렇게 얘기를 해 주고 뭐 트랜스이링 코드도 잘 된다라고 알려 주고 있습니다
27:22그래서 뭐 제이슨 형태나 어 아니면 뭐드 JS로 쓰여져 있는 코드가 있으면은 네가 파이썬으로 좀 해석을 해 줘라고 했을 때 얘를 파이썬으로 만들어 주는 걸 잘한다라고 알려주고 있고 그외에도 디버깅이라든지 코드 리뷰 같은 것들도 잘 해 준다라고 그냥 정말 단순한 예시들을 계속 보여 주고 있어서 넘어가도 좋을 것 같습니다
27:47네
27:47그래서 마지막으로는 이제 전반적으로 좀 요약을 하고 있는 거 같아요
27:54프롬프트를 쓸 때 좋은 뭐 연습들이 뭐가 있냐라고 이렇게 알려주고 있는데 몇 가지 팁들을 이제 알려 주고 있는 거죠
28:01그래서 쓸 때는 항상 같이 예시들을 같이 넣어 주는게 굉장히 중요하다
28:08그래서 창의적이고 다양하고 하지만 확실한 그런 예시들을 같이 세 개에서 다섯 가지 정도를 넣어야 좋은 답변을 받을 수 있다라고 이렇게 얘기를 하고 있고 그리고 design with simplicity라고 하고 있는데 너무 이제 복잡하게 질문을 하면은 얘가 제대로 이해를 못 할 수도 있으니까 훨씬 심플하고 명료하게 어 프롬프트를 써야 된다라고 이렇게 얘기를 하고 있습니다
28:34그래서 이게 되게 프롬프트를 쓰는 그 마일투나 어투도 되게 중요한데 뭔가 내 생각을 말하면서 이런 것들은 뭐 어떻게 해야 돼라고 이렇게 말하는 것보다 얘한테 바로 그냥 명령 어조로 네가 이런 식으로 뭐 액트를 해서 뭐 이렇게 이렇게 해 줘라고 하는게 훨씬 더 효과적이다라고 알려주고 있어요
28:49이제 이게 이런 예시들을 통해서 보면은 좀 확실히 더 와닿는 거 같습니다
28:55그래서 어이 액션을 설명할 수 있는이 동사들을 훨씬 더 많이 사용을 해라라고 이렇게 하고 있어요
29:04그래서 그 예시 동사로는 뭐 act, analyze, categorize, classify, contrast, compare 그니까 훨씬 더 직관적으로 얘가 이해할 수 있는 그 액션들에 대한 동사들을 많이 사용을 해라라고 이렇게 딥을 알려 주고 있습니다
29:17네
29:17그다음으로는 그 아웃풋에 대해서 얘가 답변을 생성해야 되는 답변이 어떤 형식으로 되어야 되는지 훨씬 더 구체적으로 말해 줘라고 이렇게 알려 주고 있어요
29:30그래서 어 do or do not 예시를 알려 주고 있는데 do not은 그냥 정말 전반적으로 뭐 블로그 포스트 생성해 줘라고 하면은이가 굉장히 다양한 형태의 답변들을 생성을 할 수 있다 보니까 훨씬 더 확실하게 뭐 어 세 개의 문단들을 작성을 해 주고 탑 5파 비디오 게임에 대해서 네가 뭐 설명을 해 줘라고 하면 훨씬 뭐 확실한 답변을 받을 수 있다라고 이렇게 얘기를 하고 있습니다
29:58어, 이것도 어, 제가 어려는 알고 있었는데 이걸 통해서 훨씬 더 확실히 알게 된 건 뭐냐면 얘한테 하지 말아야 되는 것보다는 얘가 해야 되는 거에 훨씬 더 많이 집중하도록 해야 되는게 중요하다라고 말을 해 주고 있어요
30:13그래서 인uc션이라는 거는 얘가 해야 되는 것들을 뜻하고 constrain트는 얘가 하지 말아야 되는 거를 뜻하거든요
30:19근데 어 이제 리서치를 통해서 보니까 훨씬 더 얘가 해야 되는 것들 인스트럭션에 대해서 어 더 많이 이제 넣어야 얘가 훨씬 더 좋은 답변들을 생성을 한다라고 이렇게 얘기를 하고 있더라고요
30:36그래서 이게 실제로 어 뭔가 사람들한테 뭔가 지시 사항을 내릴 때도이 사람한테 해야 되고 할 수 있는 것들을 얘기를 하는게 하지 말아야 되는 것보다는 훨씬 더 긍정적으로 와닿게 좋은 답변을 내놓는다라고 이렇게 얘기를 하고 있는 것 같습니다
30:54그래서 do or do not 예시를 보면은 네가 뭐 이런 한 분단 뭐 비디오 게임에 대한 블로그를 작성을 하고 이거를 작성을 할 때 이거에 대해서만 네가 작성을 해 줘라고 하는게 훨씬 더 낫지
31:07만약에 얘한테 이런 거에 대해서는 얘기를 하지 말아 줘라고 하면 오히려 역가가 날 수 있다라고 이렇게 얘기를 해 주고 있습니다
31:15네
31:15그리고 이제 뭐 답변을 생성을 할 때도 그 생성할 수 있는 토큰 리밋을 두면은 훨씬 더 좋다라고 얘기를 하고 있고 그리고 프롬프트를 작성을 할 때에도이 프롬프트 안에 이런 식으로 변수들을 같이 설정을 해 놓으면은 그 변수값들을 그냥 동적으로 다 조정을 할 수 있기 때문에 뭐 좋은 연습이다라고 이렇게 얘기를 하고 있습니다
31:43네
31:43그 외에도 뭐 프롬프트를 작성을 할 때 되게 여러 가지 형태로도 질문하고 테스트해 보는 거를 추천을 하고 있다고 하더라고요
31:53그래서 뭐 프롬프트 요청을 할 때 질문 형태로도 해보고 아니면 그냥 뭐 문장 형태로도 해보고 아니면 지시 사항 형태로도 네가 요청을 해 봐
32:00다양한 형태로 요청을 해 봐라고 이렇게 말을 하고 있고
32:06네
32:06그리고 이거는 이제 퓨셔 프롬을 할 때 그냥 예시들을 최대한 다양한 예시들을 같이 넣어라
32:12라고 이렇게 말을 하고 있습니다
32:12뭐 당연한 거지만 모델 업데이트가 될 때마다 그것도 좀 계속 알고 있어야 된다라고 얘기를 하고 있고 아웃풋 형식들도 제이슨이나 XMR 형태로도 하면은 좋은게 이제 뭐냐면 얘가 훨씬 더 어 그 편차가 줄어든 답변들을 받을 수가 있다고 해요
32:31그래서 제이슨 형식으로 답변을 받아보는게 뭐 코딩할 때도 되게 유리하다 보니까 이런 식으로 답변을 내놓는 거를 계속 연습을 해 봐라라고 얘기를 하고 있습니다
32:41그래서 어 장점은 뭐냐면 항상 똑같은 스타일 그대로 얘가 답변을 생성을 하고 그리고 내가 받아야 되는 데이터에 대해서 훨씬 더 많은 집중을 할 수 있 어 집중을 할당을 할 수 있다라고 얘기를 하고 있어요
32:57뭐 할루스네이션도 줄일 수 있고 뭐 이런 것들에 대한 뭐 장점이 있는데네 그래서 뭐 제이썬을 사용하는 장점에 대해서는 뭐 여러 가지가 있다라고 이렇게 계속 얘기를 하고 있습니다
33:15네
33:15cot 할 때는음 COT 할 때는 템퍼처링을 영어로 두라라고 하고 있고 그 이유는 COT 프롬프트 기법 자체가 되게 그냥 딱 확실히 답변이 정해져 있는 그런 문제들 위주로 프롬프트를 사용을 하다 보니까 템포처링이 영으로 되어 있다라고 하더라고요
33:36어쨌든 뭐 문제를 풀거나 이런 것들은 답변이 정해져 있다 보니까 그래서 항상 템처는 0으로더라고 이렇게 얘기를 하고 있고 어 그 외에도 이제 마지막으로 좀 추천을 하고 있는 방법 중에 하나는 어쨌든 저희가 뭐 앱을 만들고 뭔가 채봇 같은 거를 만들 때 프롬프트 기법들을 되게 다행 다 다양 다행하게 사용을 할 거고 한 번으로 끝나는게 아니라 계속 테스트를 할 텐데 그 프럼프 프롬프트 사용했던 프롬프트들을 다 기록을 해 놔라고 얘기를 하고 있습니다
34:17그래서 뭐 구글 시트에다가 뭐 저장을 해서 어 계속 이제 업데이트를 하라고 하고 있는데 어 뭐 여기 이제 예시 프롬프트를 저장할 수 있는 예시 테이블을 여기서 줬더라고요
34:29그래서 뭐 이름이라든지 목표 쓰인 모델 템프처 값이랑 탑 K 탑 P 값이랑 토큰 리 프롬프트 뭐가 쓰였는지 그리고 아웃풋에 대해서도 이렇게 생성을 같이 해 주고 얘가 실제로 좋은 답변이었는지 안 좋은 답변이었든지 뭐 가끔은 좋은 답변이었는지 이런 식으로 분류를 해 놓으면은 나중에 좀 프롬프트들을 되게 관리하기 쉽다라고 이렇게 얘기를 하고 있었습니다
34:53네
34:53그래서 뭐 마지막 요약으로는 되게 여러 가지 프롬프팅 기법들에 대해서 봤는데요
35:00이거에 대해서는 어느 정도 이제 다 아셨을 아실 거라 믿고 어네 되게 뭔가 제대로 알고 있지 못하더라도 뭔가 그냥 직관적으로 좀 많이 쓰고 있었을 것 같은 프로프틱 기법들에 대해서 다시 한번 좀 요약을 드렸습니다
35:19그래서 이게 어쨌든 요약을 한번 다시 하면은 머릿속에 다시 들어오고네 좋은 어 답변들을 받을 수 있다 보니 이런 영상을 좀 만들어 봤습니다
35:32다음 영상에서는 그 MCP 서버들이랑 클라이언트 구축하는 방법에 대해서 좀 다뤄 보도록 할게요
35:37그래서 오늘 영상도 시청을 해 주셔서 감사했습니다
35:37감사합니다.
LLM의 답변 품질은 프롬프트 작성 방식에 따라 크게 달라지므로, 명확하고 구체적인 지시와 다양한 예시 활용이 중요하다. 
프롬프트 엔지니어링은 LLM의 성능을 극대화하기 위한 다양한 기법들을 포함한다. 
프롬프트 작성 시 명확성, 간결성, 구체적인 지시, 그리고 반복적인 테스트가 중요하다. 