"No Free Lunch in LLMs: We help you find the Right Tool for the Right Task."
🇰🇷 LLM 비교 연구 기반 학습 지원 웹 애플리케이션
GPT-4o, Gemini 2.0 Flash, Claude 4.5 Sonnet의 정확도 분석을 토대로
학생들이 목적에 맞는 최적 모델을 선택하고 활용할 수 있도록 돕는 플랫폼을 제안합니다.
🌍 Research-Based LLM Learning Platform Proposal
A proposed platform built on accuracy analysis of GPT-4o, Gemini 2.0 Flash and Claude 4.5 Sonnet designed to help students select and utilize the optimal AI model for their learning goals.
LLM StudyHub는 모든 상황에 완벽한 AI는 없다는 LLM 비교 실험 결과를 바탕으로 설계된 학습 지원 플랫폼입니다.
학생들은 과제 유형(팩트 체크, 창의적 글쓰기, 최신 정보 탐색)에 따라 GPT-4o, Gemini 2.0 Flash, Claude 4.5 Sonnet 중 적합한 모델을 선택하고, 모델별 응답을 실시간으로 비교함으로써 각 LLM의 특성과 환각(Hallucination) 발생 가능성을 직관적으로 이해할 수 있습니다.
본 프로젝트는 자동 모델 추천과 응답 비교 기능을 통해 학습 목적에 맞는 모델 선택 과정을 시각적으로 보여주는 데 초점을 두었으며, 실제 서비스가 아닌 실험 및 시연 목적의 테스트용 웹 애플리케이션입니다.
LLM StudyHub is a concept demo web application designed based on the insight that “no single LLM performs best in every situation.”
It allows students to select and compare GPT-4o, Gemini 2.0 Flash, and Claude 4.5 Sonnet according to task type, helping them understand model characteristics and reduce the risk of AI hallucinations through real-time response comparison. This project is intended for experimental and demonstration purposes, not as a full production service.
| 기능 (Feature) | 설명 (Description) | 협업 가치 (Human-AI Value) |
|---|---|---|
| 🤖 멀티 모델 채팅 Multi-Model Chat |
3종의 LLM(GPT, Gemini, Claude)과 동시 대화 Chat with 3 LLMs simultaneously |
단일 모델 편향 방지 및 답변 다양성 확보 Avoiding single-model bias |
| ⚖️ 실시간 비교 모드 Comparison Mode |
동일 질문에 대한 3개 모델 답변을 한 화면에서 비교 Compare responses in a single view |
교차 검증을 통한 비판적 사고 함양 Critical thinking via cross-validation |
| 💡 스마트 모델 추천 Smart Recommendation |
질문 의도(Skill Tag) 분석 후 최적 모델 자동 추천 Auto-recommend model based on intent |
도구 선택 비용 절감 및 학습 효율 증대 Reducing tool selection costs |
| 🛤️ 맞춤형 학습 경로 Learning Path |
과제 유형(리포트, 발표 등)에 따라 단계별 모델 가이드 Step-by-step model guide for tasks |
주도적 학습을 위한 스캐폴딩(Scaffolding) 제공 Scaffolding for self-directed learning |
| 🛡️ 환각 경고 시스템 Hallucination Alert |
Fact Error 가능성 높은 질문 시 주의 메시지 노출 Warning on high-risk questions |
AI 오류 피해를 막는 안전장치(Safety Net) Safety net against AI errors |
LLM StudyHub는 단순 비교를 넘어, 과제 성격에 맞춰 여러 AI를 교차 활용하는 최적의 학습 경로(Workflow)를 제안합니다.
LLM StudyHub proposes an optimal workflow that orchestrates multiple AIs according to the nature of the assignment.
Scenario: 정확한 사실에 기반한 논리적인 대학 리포트 작성 (Writing a logical university report based on accurate facts)
STEP 1. 아이디어 발산 (Ideation)
🧠 Claude 4.5 Sonnet
(창의적 주제 선정 / Creative Brainstorming)
⬇️
STEP 2. 최신 사례 조사 (Research)
🌐 Gemini 2.0 Flash
(최신 뉴스 및 통계 수집 / Gathering Recent Facts)
⬇️
STEP 3. 개요 및 초안 (Drafting)
📝 Gemini 2.0 / GPT-4o
(수집된 정보로 구조화 / Structuring the Draft)
⬇️
STEP 4. 최종 팩트 체크 (Fact Check)
✅ GPT-4o
(논리적 오류 및 사실 검증 / Logic & Fact Verification)
이 서비스는 단순한 아이디어가 아닙니다. 직접 수행한 32개 문항, 3개 모델 비교 실험 데이터
에 기반하고 있습니다.
This service is based on empirical data from a comparative experiment involving 32 questions and 3 models.
우리는 "학생들의 학업 성취를 돕는 최적의 AI 모델은 무엇인가?"라는 질문에서 출발했습니다.
We started with the question: "Which AI model best supports student academic achievement?"
- 정량적 검증 (Quantitative Verification): 주요 LLM(GPT, Gemini, Claude)이 한국어 학업 환경(Fact)에서 얼마나 정확한지 수치로 증명합니다.
- 위험 요소 분석 (Risk Analysis): 각 모델이 범하는 환각(Hallucination)의 유형과 안정성(Variance)을 분석하여 학습 시 주의사항을 도출합니다.
- 솔루션 제안 (Solution Proposal): "만능 모델은 없다(No Free Lunch)"는 가설을 증명하고, 이를 보완할 'AI 오케스트레이션 플랫폼'을 설계합니다.
- Dataset: Text (28) + Image (4) = Total 32 Questions
- Target Models: GPT-4o · Gemini 2.0 Flash · Claude 4.5 Sonnet (Free model)
- Metrics: 정확도(Accuracy), 안정성(Variance), Skill Tag(추론/정보/창의), Hallucination 유형
| 순위 | 모델 | 종합 점수 (Accuracy) | 특징 및 추천 대상 |
|---|---|---|---|
| 🥇 1위 | GPT-4o | 0.81 | [All-Rounder] 가장 안정적이며 리포트 작성, 개념 학습에 추천 Most stable. Recommended for reports & concepts |
| 🥈 2위 | Gemini 2.0 Flash | 0.80 | [Trend Setter] 최신 정보(Recent Fact) 만점. 뉴스, 시사 문제에 강력 Best for Recent Facts. Strong in news & current affairs |
| 🥉 3위 | Claude 4.5 Sonnet | 0.75 | [Creative Drafter] 창의성은 좋으나 사실 오류(Fact Error) 주의 필요 Great creativity, but beware of Fact Errors |
자세한 분석 결과는 (Report) Fact-vs-Fiction LLM (PDF) 를 참고하세요.
먼저 Node.js가 설치되어 있어야 합니다.(nodejs.org에서 설치)
npm installnpm run dev:client브라우저에서 http://localhost:5001/ 접속
- 📁
client/→ 프론트엔드 (React 앱) - 📁
server/→ 백엔드 (Express API) - 📁
shared/→ 공유 타입 정의 - 📁
script/→ 빌드 스크립트 - 🔧 설정 파일들 →
vite.config.ts,tsconfig.json등
- Frontend: React 19, Vite, TypeScript, Tailwind CSS, Framer Motion
- UI 컴포넌트: Radix UI, shadcn/ui (20개 이상의 컴포넌트)
- Backend: Express.js, PostgreSQL, Drizzle ORM, Passport.js
- 상태 관리: TanStack React Query, React Hook Form
- 배포: Vercel
| 이름 | 역할 | 상세 업무 |
|---|---|---|
| 임보영 | 데이터셋 구축 & 웹 기획(PM & Dev) | 질문·정답 구축, 전체 흐름 총괄, 웹 사이트 구축 Dataset construction, Web development, Project management |
| 최희조 | 데이터 수집 & 인사이트(Researcher) | 모델 응답 수집, 발표 Data collection, Insight derivation, Presentation |
| 최은연 | 분석·개발 & 문서화(Analyst) | 자동 채점 코드, 시각화 , 결론 및 시사점 도출 Auto-grading logic, Visualization, Conclusion |
이 프로젝트가 도움이 되셨다면 ⭐️ 한 번 눌러주세요!
여러분의 관심과 응원이 큰 힘이 됩니다 🙏
If this project was helpful to you, feel free to hit the ⭐ button! Your support and interest mean a lot 🙏
본 프로젝트는 한양대학교 산업융합학부 인간-인공지능 협업 제품 서비스 설계 수업(2025년 가을학기)의 기말 프로젝트 활동으로 진행된 결과물입니다.
This project was conducted as a final assignment for the "Human-AI Collaboration Product Service Design" course (Fall 2025) at Hanyang University.
본 수업의 지도 교수는 한양대 산업융합학부 정철현 교수(inbass@hanyang.ac.kr)입니다.
라이선스 및 책임 고지: 본 프로젝트의 코드와 문서는 오픈소스(MIT License)이므로 자유롭게 참조 및 사용이 가능합니다. 단, 사용으로 인한 모든 리스크는 사용자 스스로 감당하셔야 합니다.
Disclaimer: This code and documentation are open source (MIT License). You are free to reference and use them, but you must assume all risks associated with their use.
© 2025 LLM StudyHub Team. All rights reserved.