23 수능 국어 상위 5%에 도달한 인공지능
게시글 주소: https://wwww.orbi.kr/00064160457
안녕하세요, 오르비 여러분.
오픈소스 한국어 문서 기반 질의응답 AI 시스템을 탐구하는 프로젝트 팀 NomaDamas입니다.
23 수능 국어에서 상위 5%를 인공지능으로 달성하여 뉴스 기사가 나왔습니다!
수험생시절 오르비에서 도움을 많이 받았던 기억이 나
혹시 저희 프로젝트가 수험생 여러분들께 조금이나마 도움이 될까 싶어 공유합니다!
세 줄 요약
- 기존 3등급(86점, 상위 22%)이던 GPT-4의 수능 국어 성적을, 프롬프트 엔지니어링으로 2등급(94점, 상위 5%)로 향상시켰습니다.
- 문제 유형에 특화된 프롬프트를 사용하면 1등급(96점, 상위4%)까지 달성할 수 있습니다.
- 사용한 프롬프트 전문과 소스코드, 수능 국어 데이터셋을 오픈소스로 공개했습니다.
1. 프롬프트 엔지니어링?
긴 글을 시작하기에 앞서, 많은 분들의 이해를 돕기 위해 저희가 사용한 프롬프트 엔지니어링에 대한 간단히 설명 드리겠습니다.
프롬프트 엔지니어링은 대화형 인공지능 (예: Chat-GPT)에 들어가는 입력 프롬프트를 신중하게 작성하고 개선하여, 원하는 고품질의 응답을 생성하는 과정입니다.
간단히, 어떻게 인공지능에 ‘잘’ 질문 하는지 연구하는 것입니다.
‘수험공부를 하면서 얻은 나름의 노하우들을 프롬프트에 적용하면, 인공지능의 수능 점수가 어디까지 올라갈까?’ 라는 의문이 들었고, 프롬프트 엔지니어링을 통해 적용해 보았습니다.
2. 사용한 프롬프트
어떤 프롬프트를 사용했는지 궁금하시죠?
핵심부터 말씀 드리자면, 지문 속에서 정답과 관련이 있는 문장을 찾도록 한 것입니다.
수험생 시절에 지문에서 ‘1+1=3’ 이라고 한다면 그냥 받아들이고 풀겠다는 마음가짐으로
지문 속에서 근거를 찾는 연습을 하며 기출 문제 분석을 많이 했었는데요,
그 경험을 프롬프트에 반영해 보았습니다.
그 결과 인공지능의 점수가 8점 상승하여 94점이 되었습니다.
지문에서 근거를 찾는 능력의 중요성을 다시 한번 느낄 수 있었고, 수험생분들에게도 공유하고 싶었습니다.
[실제 사용 프롬프트]
위의 프롬프트는 <보기> 가 없는 경우에 사용한 프롬프트 입니다.
저희는 <보기>가 있는 경우와, 없는 경우를 구분하여 프롬프트를 사용하였습니다.
본문이 너무 길어질 것 같아 <보기>가 있을 때 프롬프트는 더 궁금하신 분들이 참고하실 수 있도록
자세한 설명이 있는 링크를 함께 달아두겠습니다 :)
3. 빈출 유형 대응 프롬프트
위의 프롬프트로는 13번, 15번, 40번 문제를 제외하고 모두 풀 수 있었습니다.
GPT-4가 ‘동음이의어’, ‘다의어’ 관련 문제를 못 푸는 것을 확인했습니다.
이에 수험생들이 기출문제로 문제 해결의 방향을 잡는 것처럼,
인공지능에게도 문제를 푸는 방법을 알려주는 13번 문제 맞춤 프롬프트를 제작하기로 했습니다.
[실제 사용한 13번 전용 프롬프트]
(프롬프트에 사용된 표현이 정확한 표현인지는 잘 모르겠습니다..)
제가 이 문제를 실제 시험장에서 만났다면 다음 프롬프트와 같이 행동했을 것이라고 생각하고 작성해보았는데요,
저의 수험생활경험으로 만들어진, 13번 유형의 문제들만 해결할 수 있는 맞춤형 프롬프트 입니다.
오직 ‘지문 속 근거가 된 문장’만으로는 인공지능이 해결하기 어렵다고 판단하여 맞춤형 프롬프트를 제작하였고,
그리하여 13번 문제까지 정답을 맞춰 96점, 1등급에 도달할 수 있었습니다.
하지만 이 프롬프트는 같은 유형의 문제가 나왔을 때에만 재사용 가능한 프롬프트라는 점에 있어서,
완벽한 1등급에는 도달하지 못했습니다.
오지랖일지는 모르겠지만,,,
그래도 인공지능처럼 많은 수험생분들이 시험장에서 만나게 될 다양한 예상 문제들에 대해 나름의 ‘행동 매뉴얼’을 만들어 시험장에 들어가시면,
훨씬 빠르고 정확하게 문제를 해결할 수 있다는 것을 증명한 사례라고 생각하여 가져와 보았습니다 :)
4. 실제 예시
- 17번 문제 (오답률 84.9%)
17번 문제
인공지능 답변
EBS 해설
5. 오답 풀이
23 수능 국어(화법과 작문)에서 15번(비문학)과 40번(화법과 작문) 문제를 GPT-4가 풀지 못했습니다.
왜 오답을 뱉어냈는지 나름대로 설명 해보는 섹션입니다.
- 15번
- 15번 문제의 핵심은 지문으로부터 '100^0.75'와 '1^0.75'를 유도해 무엇이 더 큰지를 구해야 합니다. 이는 GPT-4의 수학 능력 부족으로 두 숫자 중 더 큰 수 찾기를 힘들어 합니다.
- 또한, 지문만 보고 해당 식을 유도하는 것 조차도 힘들어 합니다. 수학적 수식을 이해하고 그것을 선택지에 응용하는 능력이 떨어지기 때문입니다.
- 비슷한 문제로, 문제의 19년도 수능 31번 문제도 '만유인력 공식'을 이해하고 활용해야 풀 수 있는데, 해당 문제 역시 GPT-4는 못 풀었습니다.
- 40번
- 40번에서는 학생 1과 학생 3 '모두' 상대의 발화 내용을 잘못 이해했는지 파악하는 것이 핵심입니다.
- 실제로 해당 부분에서 학생 1은 상대의 발화 내용을 잘못 이해하고 있으나, 학생 3은 그렇지 않습니다.
- 그래서 3번 선지를 정답으로 골랐어야 했지만,
GPT-4는 학생 1이 상대의 발화를 잘못 이해했다고 잘 파악하였으나,
학생 3은 상대의 발화 내용을 이해하고 있다고 파악하여 오답을 고르게 되었습니다. - 비교적 수험생분들에게는 익숙할 수 있는 평가원의 함정 입니다만, 아직 평가원의 함정을 수월하게 빠져나가지 못하는 인공지능입니다
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
수학 공부법 0
지금 3등급이고 4점 기출 중인데 어려운 4점이라 대가리만 ㅈㄴ 깨지고 있거든요 걍...
-
https://orbi.kr/00068670556 위 링크로 접속 후에 팔로우랑...
-
너무 난잡하려나...
-
원의 중심이 원점일 때 반지름이 r이고, 직선의 기울기가 m이라면 접선의 방정식은...
-
6모 확통 4등급.. 4점기출은 9,10번 빼고 손도 못 댈거 같음 유형서는 한번...
-
교대 질문받아용 0
막학기를 남겨둔 졸업반입니당 공부하기 싫어서 오르비 오랜만에왔어용
-
마닳로 2회독 끝냈는데 ㅊㅊ 좀
-
어???? 3
저게 캐스트에 걸리다니…….. 더 도움되고 더 좋은 자료 만들어서 배포하겠습니다ㅜㅜ
-
인간 관계 1
끊어야 할 인간 관계 1. 몇 주 뒤에 잡은 약속 시간 전후로 새로운 약속을 만드는...
-
시대 6평 편입 0
시대 6평 편입 합격했다고 문자왔는데 반이나 수강 선생님은 결제해야 알 수 있는건가요??
-
옯붕이 또 십덕질 했다 12
-
EBS교재 연계니 뭐니 싹 없앴으면 좋겠음... 연계가 있어서 그나마 쉬워지지...
-
선택구매라서 안살까 생각중인디
-
그 분이 총 맞은 날이군요
-
26요청) 사회문화 도표 Q100 N제 배포 이벤트 6
제가 직접 만든 사회문화 도표 Q100 N제 배포 이벤트를 시행합니다! 참여 방법:...
-
올해 강k 국어 1~3회 언매 등급컷 아시는 분..ㅠ
-
lfxl를 그냥 fx로 봤다던가.. 계산 실수 했다던가 등등이요..
-
고2때 까지만 해도 인강3사 1타, 시대 선생이 최곤줄 알고 있었음 고3 돼서 느낀...
-
이명학 신택스부터 할건데 지금부터 해도 커리 완주가능? 4
6모 영어가 너무 낮게 나와서 신택스부터 하루에 한두개씩 들어보려고 하는데...
-
한국외대 에타 0
아이디 양도해주실 분 계실까요? 재학생 인증이 학번이 다르다고 계속 안되서...
-
김유연 왜이리 이쁨 14
쟤는 좋겠다
-
과중이라 내신 물화생지2 4개 다하는데 얘네 절대평가로 바껴서 ABC로 나오는게...
-
ㅋㅋ
-
2학기에 미적분 듣는 고2 정파입니다 진도를 빨리 끝내야겠다는 생각과 감유지도...
-
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ 한국사> 수특 핥쨕 끗...
-
확통 사1과1 기준으로 아무 과라도 좋습니다
-
15만원짜리 사도 인정 되나요?
-
ㅈㄱㄴ
-
학교가 기말 직전에 한 교시당 30분으로 운영하면서 단축수업해서 그런가 집중이 딱...
-
하루에 두시간씩만 하면 힘들까요??? 이번 7덮 생윤 보정후 높1 윤사 2컷정도 일거같은데
-
문쾅충 3배는 증식한듯 싼맛에 다녔는데 그냥 기간 끝나면 옮겨야겟다 사장도 문 고칠...
-
드릴 왜이리쉽지 3
드릴3 수학1 푸는데 왜이리 쉬운거같지 옛날에 드릴1 수학1 풀었을때는 난이도 좀...
-
이번 주 할 것 0
나비효과 완강. 수득 영어 듣기 14강 까지 듣기 영어 단어장 14일 까지 보기. 끝
-
윤성훈 엠스킬 1
교재 필수임? 검더텅 가지고 안될까여
-
국어,수학,과탐 대충 몇정도 받아야 함?
-
현아 결혼하네 2
오....
-
고1이라서 잘 모르는데 가산점 받으면 수학 2문제정도 커버된다고 들었는데요 그럴거면...
-
7월 1일이 엊그제여야하는데;;
-
재밌구만 이거
-
개때잡 듣는중인데 그다음강의 뭐 듣는게 좋을지 아님 자습처럼 기출 풀지 모르겠네요...
-
배고파아아
-
안 살거라고 생각하고 상담이나 견적같은게 불친절할까요
-
129 0
1주일 뒤 나는 국어 확정 5등급 실력과 영어 6이상을 받을거야 할 수 있다.
-
작년에는 착실히하게 매일매일 1년동안 해서 뭔가를 유기하고 싶다는 생각은 안...
-
D-129, 서울대 수학교육과, 입시의 모든 것, 김지석 0
습~하 다 장마 속 잘지내고 있냥? 안이 나는 죽을 것 같아 어항속에 사는 고양이가...
-
내가 뭘하고 뭘 배우고있는건지 모르겠음요 어따 써먹을지도 모르겠고 이명학 들어보고싶다
-
이명학 알고리즘 맨 마지막에 알려주는 문항별 정리본 보내주거나 알려주실분 있으신가용..
-
고민중
우와… 너무 신기해요…
휴 ai 이겼다
이건 제작자가 천재다