알고몽 공개 성적표
알고몽의 시험 점수를, 있는 그대로
이 페이지는 알고몽이 직접 잰 시험 결과를 문항 수와 측정 날짜와 함께 보여 드리는 곳입니다. 가장 최근 측정일은 2026-11-12입니다.
한국어 공개 시험 (모델 단독)
모델 단독이란 검색·계산기 같은 도구 없이, AI 모델 혼자 푼 점수라는 뜻입니다. 모두 누구나 받을 수 있는 공개 문제입니다. 정답 비율이며, 문제 표본은 고정해 두고 온도 0으로 풀었습니다.
| 시험 | 문항 수 | 추론 끔 | 추론 켬 | 무엇을 재나 |
|---|---|---|---|---|
| CLIcK모델 단독 · 2026-11-12 | 300 | 72.3% | 75.0%같은 100문항 끔 71.0% · 잘림 4 · 평균 2,532토큰 | 한국 문화와 한국어 지식 |
| KMMLU모델 단독 · 2026-11-12 | 300 | 58.7% | 63.0%같은 100문항 끔 59.0% · 잘림 7 · 평균 2,866토큰 | 12개 과목의 전문 지식 |
| KMMLU-Pro-2026모델 단독 · 2026-11-12 | 370 | 52.4% | 62.9%같은 124문항 끔 55.6% · 잘림 23 · 평균 3,951토큰 | 2026년 국가 전문 자격시험 문제 (모델 학습 뒤인 2026-10-24 공개) |
| HRM8K-KSM모델 단독 · 2026-11-12 | 58 | 34.5% | 75.0%같은 20문항 끔 50.0% · 잘림 7 · 평균 4,720토큰 | 한국 수학 경시대회 식 문제 |
"추론"은 AI가 답하기 전에 속으로 먼저 생각하는 단계입니다. 켜면 더 정확해지지만 문항마다 수천 토큰을 더 쓰므로 느립니다(위 평균 토큰). 추론 끔은 온도 0으로 답 기호만 받았습니다. 추론 켬: 큐웬 권장 추론 설정(온도 0.6·top_p 0.95·top_k 20, 문항마다 고정 seed), 생각 예산 6,144토큰. 예산을 넘기면 생각 없이 답만 다시 받아 채점했습니다(아래 "잘림"). 시간 때문에 고정 표본에서 3번째 문항마다 1개씩 뽑은 부분 표본으로 쟀고, 같은 문항의 추론 끔 점수를 나란히 적었습니다.KMMLU-Pro-2026은 모델이 학습된 뒤에 공개된 문제라, 문제를 미리 본 영향을 줄일 수 있습니다. 부분 표본은 문항 수가 적어(수학 20문항의 1문항 = 5점) 흔들림이 큽니다.
이미지 이해
직접 만든 합성 이미지 17장에 질문 45개(돌아간 사진 4문항 포함). 이 문항은 KoWork-Bench v1 로 공개합니다(아래 내려받기). OCR·숫자 대조 같은 코드가 들어간 줄은 "알고몽 시스템", 모델에 사진과 질문만 준 줄은 "모델 단독"입니다. 모두 같은 날 서버가 한가할 때 한 번씩 잰 값입니다.
세 방식이 만점이라 이 시험지는 이제 방식 차이를 가르지 못합니다. 더 어려운 KoWork-Bench v2 결과는 바로 아래에 있습니다.
| 구성 | 맞힌 수 | 질문당 평균 | 참고 |
|---|---|---|---|
| 글자 판독 + 두뇌가 사진을 직접 봄 (지금 기본)알고몽 시스템 · 2026-11-12 | 45/45 | 4초 | 2026-11-12 부터 채팅의 사진 첨부 질문이 이 방식으로 답합니다. |
| 이미지 엔진 v2 + 비전 모델(qwen3.5:9b), 두뇌는 글만 봄 (이전 기본)알고몽 시스템 · 2026-11-12 | 45/45 | 5.2초 | 같은 날 앞선 두 번(다섯 장의 가상 번호·주소만 다른 이전 그림)은 44/45와 45/45. 실행마다 1문항쯤 흔들립니다. |
| 두뇌 단독(엔진 없음), 알고몽 답 지시문모델 단독 · 2026-11-12 | 45/45 | 0.5초 | 도구 없이도 이 시험지는 모두 맞혔습니다. |
| 두뇌 단독(엔진 없음), 공개 묶음 실행기모델 단독 · 2026-11-12 | 43/45 | 0.32초 | 틀린 2문항: 작고 흐린 스캔의 지원 한도(3,000만 원을 3,000,000원으로), 180도 돌아간 공고문의 마감일. 같은 모델도 지시문에 따라 43~45로 달라집니다. |
| 이전 엔진(v2 이전)알고몽 시스템 · 2026-11-12 | 34/41 | 기록 없음 | 시간 기록 없음. |
더 어려운 업무 이미지 (KoWork-Bench v2)
손글씨 흉내·작은 글씨 계약서·표 두 개를 엮는 계산·어둡고 비스듬한 사진·숫자 위에 겹친 도장·눈금 읽기 차트·25줄 업무 화면·근무표·두 장 비교까지 9가지, 합성 이미지 37장에 질문 80개입니다. 정답은 그림을 그린 코드에서 계산했고, 문항마다 만든 과정과 분리된 AI 검증자가 정답을 보기 전에 그림만 보고 풀어 대조했습니다. 다른 모델 줄은 같은 날, 같은 실행기·같은 채점으로 이 서버에서 직접 잰 공개 모델입니다.
문항이 80개라 2~3문항 차이는 크게 의미가 없습니다. 같은 설정도 다시 돌리면 몇 문항씩 달라집니다. 모델 단독 줄은 아래 공개 묶음으로 누구나 다시 잴 수 있습니다.
| 구성 | 맞힌 수 | 질문당 평균 | 참고 |
|---|---|---|---|
| 알고몽 시스템 (지금 기본)알고몽 시스템 · 2026-11-12채팅에 이미지를 첨부해 묻는 실제 경로(/api/chat). 글자 판독(OCR) 근거 + 답을 쓰는 두뇌(Qwen3.6-35B-A3B)가 사진을 최대 2장 직접 보고, 계산·비교·세기 질문이면 생각한 뒤 답합니다. 업로드 시점의 일반 요약은 빼고 쟀습니다. | 76/80 | 24.5초 | 다시 잰 값 77/80(21.6초). 같은 코드를 스테이징에서 앞서 잰 값은 70/80 — 같은 설정도 실행마다 몇 문항씩 달라집니다. 이 시험으로 찾은 결함을 고치기 전(V810)은 61/80. |
| 두뇌 단독, 생각 켬모델 단독 · 2026-11-12같은 두뇌에 공개 묶음 실행기로 사진과 질문만 줬습니다. 생각 켬(온도 0.6, top_p 0.95, top_k 20, seed 1234, 최대 8,192토큰). | 71/80 | 20.4초 | 표 두 개를 엮는 계산 9/9, 25줄 업무 화면은 3/9. |
| 두뇌 단독, 생각 끔모델 단독 · 2026-11-12같은 두뇌, 공개 묶음 실행기, 생각 끔(온도 0). | 57/80 | 1.5초 | 읽기만 하는 문항은 잘 맞히지만 표 두 개를 엮는 계산은 2/9. |
| qwen3.5:9b (공개 모델, 비교용)모델 단독 · 2026-11-12ollama 의 qwen3.5:9b 를 같은 실행기로 잰 값입니다(ollama 기본 설정 — 이 모델은 답하기 전에 생각합니다, 최대 4,096토큰). | 74/80 | 64.9초 | 모델 단독 줄 가운데 가장 많이 맞혔지만 질문당 약 65초가 걸렸습니다. |
| qwen3-vl:8b (공개 모델, 비교용)모델 단독 · 2026-11-12ollama 의 qwen3-vl:8b 를 같은 실행기로 잰 값입니다(ollama 기본 설정, 최대 4,096토큰). | 59/80 | 109.2초 | 4문항은 300초 안에 답이 오지 않았고 6문항은 생각이 토큰 한도를 넘겨 빈 답이라 오답으로 셌습니다. |
| qwen2.5vl:3b (공개 모델, 비교용)모델 단독 · 2026-11-12ollama 의 qwen2.5vl:3b 를 같은 실행기로 잰 값입니다(최대 1,024토큰). | 36/80 | 10.3초 | 도장이 겹친 숫자 읽기는 9/9, 표 계산·업무 화면은 각각 1/9. |
응답 속도 (DGX Spark 1대)
NVIDIA DGX Spark 1대 (GB10, 통합 메모리 128GB)에서 Qwen3.6-35B-A3B 공개 모델(알고몽이 따로 학습시키지 않은 그대로, 전문가 혼합 구조로 한 번에 30억 개만 계산) NVFP4 빌드을 vLLM 0.33.0, 다음 글자 1개 미리 추측(MTP), 이전 대화 재사용(prefix cache), 최대 문맥 32,768토큰로 돌린 값입니다. 앱이 거치는 준비 시간은 들어 있지 않습니다. 이미지를 읽는 눈(비전 인코더)을 켠 뒤에도 글자 생성 속도는 같았습니다(켜기 전 92.3, 켠 뒤 92.9). 다음 글자를 2개씩 미리 추측하는 설정도 재 봤지만 코드는 빨라지고(102.0→110.8) 한국어 글은 느려져(85.8→80.1) 1개를 유지합니다.
혼자 쓸 때 글자 생성 속도
92.9 토큰/초
초당 약 93토큰
모델 단독 · 프롬프트 4종 × 2회 · 2026-11-12
한국어 글 85.8, 한국어 문서 92.7, 코드 102.0, 영어 91.2 토큰/초의 평균입니다.
첫 글자가 나오기까지(두뇌 서버 기준)
0.05~0.07 초
0.05~0.07초. 앱이 거치는 준비 시간은 빠진 값입니다.
모델 단독 · 프롬프트 4종 × 2회 · 2026-11-12
두뇌 서버에 요청이 닿은 뒤 첫 토큰까지의 시간입니다. 사용자가 체감하는 시간은 이보다 깁니다.
4명이 동시에 쓸 때 전체 처리량
197.6 토큰/초(합계)
모두 합쳐 초당 약 198토큰
모델 단독 · 동시 4줄 · 2026-11-12
동시에 4개 응답을 만들 때 초당 만들어 낸 토큰의 합계입니다.
서버가 동시에 붙들어 둘 수 있는 대화 분량(KV 캐시)은 약 824,534토큰입니다.
알고몽 시스템 전체 결과 (참고)
모델에 계산 코드와 도구를 붙인 알고몽 제품으로 잰 값입니다. 모델 단독 점수와 직접 견줄 수 없습니다. 시스템 결과는 실행할 때마다 ±2점쯤 달라집니다."자체 시험(비공개 문항)"은 알고몽이 직접 만들었고 문항을 아직 공개하지 않아, 다른 곳에서 확인할 수 없는 점수입니다.
| 시험 | 문항 수 | 정답 비율 | 방법 |
|---|---|---|---|
| HRM8K 한국어 GSM8K 공개 표본알고몽 시스템 · 2026-11-11 | 100 | 91.0% | 알고몽 채팅(/api/chat)으로 풀게 했습니다. 모델이 계산식을 세우고 값은 코드가 계산합니다. |
| 자체 시험(비공개 문항) — 역량 문제집알고몽 시스템 · 2026-11-11 | 232 | 97.4% | 알고몽이 직접 만든 문제집을 채팅으로 풀게 했습니다. 문항은 아직 공개하지 않았습니다. |
| 자체 시험(비공개 문항) — 파일 분석알고몽 시스템 · 2026-11-11 | 12 | 91.7% | 알고몽이 직접 만든 파일 분석 문제 12개입니다. 문항 수가 적어 숫자가 크게 흔들릴 수 있습니다. |
| 브라우저 대행 과제 시험알고몽 시스템 · 2026-11-12 | 20 | 20/20 | 알고몽이 만든 연습용 페이지 20과제. 결제·삭제·비밀번호는 절대 누르지 않고, 제출 전에는 먼저 묻는지도 봅니다. 처음 14/20, 고친 뒤 두 번 모두 20/20. 자체 시험이며 연습용 페이지는 누구나 열어 볼 수 있습니다. |
어떻게 재나, 그리고 이 숫자가 뜻하지 않는 것
- 같은 문제 표본과 같은 서버 설정으로 풀었고(추론 끔 온도 0, 추론 켬은 권장 설정과 고정 seed), 측정일을 모든 숫자 옆에 적었습니다.
- 문항 수가 적을수록 숫자가 크게 흔들립니다. 58문항 시험의 1문항은 약 1.7점입니다.
- 같은 시험을 다시 풀면 조금 다르게 나옵니다. 같은 날 이미지 시험도 45/45와 44/45가 나왔습니다.
- 공식 리더보드 점수가 아닙니다. 리더보드의 제출 방식·표본과 다를 수 있습니다.
- 모델 단독 점수는 알고몽 제품이 실제로 내는 답의 품질과 같지 않습니다. 제품은 검색과 계산 도구를 함께 씁니다.
- 다른 AI와의 비교는 KoWork-Bench v2 표처럼 같은 날 같은 실행기·같은 채점으로 직접 잰 공개 모델만 적습니다. 그 밖의 순위 비교는 하지 않습니다.
KoWork-Bench 내려받기 (v1·v2)
알고몽이 직접 만든 업무형 이미지 시험 묶음(합성 이미지 17장·질문 45개, 채점기와 실행기 포함)입니다. 어떤 비전 모델이든 OpenAI 호환 주소만 있으면 같은 채점으로 다시 잴 수 있습니다. 위 표의 "모델 단독" 줄은 이 묶음으로 그대로 재현됩니다. "알고몽 시스템" 줄은 알고몽의 OCR·교차 확인 엔진이 들어 있지 않아 이 묶음만으로는 재현되지 않습니다. 라이선스: 문항·이미지 CC BY 4.0, 채점 코드 MIT.
크기 551,123바이트 · sha256 cd3ac53f0a8e3f47ba490e5f18bc6c5f4499443e0f9bb80e1d8e00e94a5e633f
KoWork-Bench v2(합성 이미지 37장·질문 80개)는 그림을 다시 만드는 코드까지 들어 있어 같은 그림·같은 정답을 그대로 재현할 수 있습니다. 두 장을 비교하는 문항은 이미지 2장을 함께 보냅니다. 라이선스: 문항·이미지·참고 결과 CC BY 4.0, 채점·생성 코드 MIT.
크기 5,978,594바이트 · sha256 460569699d3dc480979c6a1b2366888d0d097181c75e1d55cf8f8ac5d02d6d44