LLM부터 RAG, AI Agent까지 한 번에 정리한 최신 AI 핵심 개념 9가지 (2025 기준)

처음으로 ChatGPT가 어떻게 작동하는지를 비개발자 친구에게 설명하려다 실패했던 기억이 아직도 생생합니다. 중간쯤 가니까 눈빛이 멀어지더라고요. 용어는 넘치고, 비유는 부족하고, 감각은 하나도 없고.

그래서 이번엔 방식을 바꿔보려 합니다.

이 글은 2025년 현재 거의 모든 최신 AI 제품의 뼈대를 이루는 9가지 핵심 AI 개념을 다룹니다. 수식은 빼고, 사람 말로 풀고, 그래도 기술적으로는 거짓말하지 않는 선에서요.

이걸 이해하고 나면, 앞으로 AI 관련 글을 읽다가 이런 생각이 들 겁니다.

 

왜 이 9가지가 중요한가

 

---

왜 이 9가지가 중요한가

AI는 마법이 아닙니다. 사실 굉장히 잘 쌓아 올린 구조물에 가깝죠.

아래에는 Token, 위에는 Agent와 Tool. 그 사이사이에 RAG, RLHF 같은 개념들이 층층이 들어가 있습니다.

핵심 한 줄로 말하면 이거예요.

 

AI가 똑똑해 보이는 이유는 하나의 혁신 때문이 아니라, 여러 단순한 아이디어가 이상할 정도로 잘 협력하기 때문입니다.

 

자, 이제 하나씩 가봅시다.

 

 

---

1. Tokenization — 글자를 숫자로 바꾸는 첫 관문

컴퓨터는 글자를 이해하지 못합니다. 대신 숫자를 봅니다.

그래서 LLM에 문장을 넣기 전, Tokenizer가 먼저 일을 합니다. 문장을 잘게 쪼개서 Token 단위로 만들고, 각각을 숫자 ID로 바꾸죠.

예를 들면:

• unbelievable → un / believe / able
• running → run / ing

 

가장 흔히 쓰이는 방식이 **BPE(Byte Pair Encoding)**입니다. 아주 작은 단위에서 시작해서, 자주 붙어 다니는 조각들을 계속 합쳐나가는 방식이죠.

이 과정은 평소엔 보이지 않지만, 실제로는:

• 비용
• 속도
• 프롬프트 반응

 

에까지 영향을 줍니다.

커피로 치면, 원두를 얼마나 곱게 갈았느냐의 차이랄까요.

 

 

---

2. Text Decoding — 다음 단어를 고르는 기술

LLM이 하는 일은 생각보다 단순합니다.

다음 Token이 뭘지 확률로 예측하는 것.

모델은 가능한 모든 Token에 대해 확률 분포를 내놓고, 그중 하나를 고르는 방식이 바로 Decoding입니다.

• Greedy decoding: 가장 확률 높은 것만 고름 (안전하지만 재미 없음)
• Sampling: 약간의 랜덤성 추가
• Top-P sampling: 확률 합이 P가 될 때까지만 후보로 두고 그 안에서 선택

 

Temperature를 올리면 자유롭고, 내리면 단정해집니다. 너무 높으면… 좀 위험해지고요.

악보 그대로 연주할지, 재즈 솔로를 할지의 차이와 비슷합니다.

 

 

---

3. Prompt Engineering — 엔진은 그대로, 운전만 바꾸기

흥미로운 점 하나.

모델의 Weight를 전혀 건드리지 않아도, 질문을 어떻게 하느냐에 따라 결과는 완전히 달라집니다.

이게 바로 Prompt Engineering입니다.

좋은 Prompt의 공통점은:

• 해야 할 일을 분명히 말하고
• 제약 조건을 주고
• 출력 형태를 지정합니다

 

자주 쓰이는 방식으로는:

• Few-shot prompting (예시를 보여주기)
• Chain-of-Thought (단계별 사고를 유도)

 

머리를 바꾸는 게 아니라, 환경을 바꿔주는 느낌에 가깝습니다.

볼링공에 힘을 주는 대신, 레인을 정리해주는 것처럼요.

 

 

---

4. Multi-step AI Agent — 말만 하던 AI에게 손과 발 달아주기

LLM은 기본적으로 텍스트만 만듭니다.

검색, 코드 실행, API 호출 같은 건 스스로 못 하죠.

그래서 등장한 게 AI Agent입니다. LLM을 중심에 두고, Tool과 Memory, Planning Loop를 감싸는 구조예요.

흐름은 대략 이렇습니다:

1. 지금 뭘 해야 할지 판단
2. Tool 호출
3. 결과 확인
4. 다음 행동 결정

 

이걸 반복합니다.

그래서 요즘 AI가 챗봇보다는 ‘잠 안 자는 주니어 직원’처럼 느껴지는 거죠.

 

 

---

5. RAG — 기억 대신 검색을 쓰는 방식

LLM은 최신 정보를 모릅니다. 학습 시점 이후의 일은요.

**RAG(Retrieval-Augmented Generation)**는 이 문제를 우회합니다.

방식은 단순합니다:

1. 질문과 관련된 문서를 검색
2. 필요한 부분만 가져오기
3. 그걸 Prompt에 넣기
4. 근거 기반으로 답변 생성

 

이렇게 하면 Hallucination도 줄고, 정보도 최신으로 유지됩니다.

암기 시험 대신 오픈북 시험을 보는 느낌이죠.

 

 

---

6. RLHF — AI에게 ‘사람 취향’을 가르치는 법

**RLHF(Reinforcement Learning from Human Feedback)**는 모델의 성격을 다듬는 과정입니다.

절차는 이렇습니다:

1. 여러 답변 생성
2. 사람이 선호도 비교
3. Reward Model 학습
4. 그 점수를 잘 받도록 LLM 업데이트

 

이 과정을 거치면서 모델은:

• 더 공손해지고
• 더 도움이 되며
• 덜 위험해집니다

 

Reward Model은 일종의 ‘사람 마음 대리인’ 역할을 합니다.

 

 

---

7. VAE — 데이터의 모양을 배우는 압축 기술

**VAE(Variational Autoencoder)**는 데이터를 확률 분포로 이해합니다.

구성은 단순해요:

• Encoder: 입력을 Latent Space로 압축
• Decoder: 다시 원래 공간으로 복원

 

중요한 건 이 Latent Space가 부드럽고 연속적이라는 점입니다.

그래서 요즘 Text-to-Image, Text-to-Video 시스템에서는 VAE를 Latent Compressor로 자주 씁니다. 덕분에 다음 단계 모델이 훨씬 가볍게 움직이죠.

큰 지도를 접어서 주머니에 넣는 느낌에 가깝습니다.

 

 

---

8. Diffusion Model — 노이즈를 지워서 만드는 생성

Diffusion Model은 거꾸로 갑니다.

학습할 때는:

• 실제 데이터에 노이즈를 점점 추가하고
• 그 노이즈를 예측하게 만듭니다

 

생성할 때는:

• 완전한 노이즈에서 시작해서
• 한 단계씩 정제하며
• 구조를 만들어냅니다

 

사진 암실에서 현상하는 과정과 닮아 있죠. 처음엔 흐릿하다가, 어느 순간 선명해집니다.

 

 

---

9. LoRA — 가볍게, 하지만 정확하게 미세조정

대형 모델을 처음부터 다시 학습시키는 건 비용이 큽니다.

**LoRA(Low-Rank Adaptation)**는 다른 선택지를 제시합니다.

• 기존 Weight는 고정
• 작은 저차원 행렬만 추가
• 필요한 부분만 학습

 

결과적으로:

• 빠르고
• 저렴하며
• 모듈화된 Fine-tuning이 가능합니다

 

카메라 센서를 바꾸는 대신, 렌즈를 갈아끼우는 것에 가깝습니다.

 

 

---

다시 한 번, 전체 그림

정리하면 이렇게 연결됩니다:

• Tokenization이 입력을 만들고
• Decoding이 출력을 만들고
• Prompt가 방향을 정하고
• Agent가 행동하고
• RAG가 사실을 붙잡고
• RLHF가 태도를 맞추고
• VAE가 압축하고
• Diffusion이 생성하고
• LoRA가 전문성을 더합니다

 

각각만 보면 평범합니다.

하지만 같이 움직이면—꽤 그럴듯해지죠.

 

 

---

자주 나오는 질문 (2025 기준)

Q1. LLM은 의미를 이해하나요?
사람처럼은 아닙니다. 패턴을 아주 잘 다룰 뿐이에요.

Q2. RAG와 Fine-tuning 중 뭐가 더 좋나요?
지식이 자주 바뀐다면 RAG가 유리합니다.

Q3. AI Agent는 자율적인가요?
부분적으로만요. 여전히 관리가 필요합니다.

Q4. 왜 Hallucination이 생기나요?
확률이 진실은 아니기 때문입니다.

Q5. RLHF만으로 안전한가요?
아니요. 필수 조건이지만 충분 조건은 아닙니다.

Q6. Diffusion이 GAN을 대체했나요?
대부분의 영역에서는 그렇습니다.

Q7. LoRA는 LLM 전용인가요?
아닙니다. 다른 Neural Network에도 쓰입니다.

Q8. Tokenization은 사라질까요?
형태는 바뀌어도 개념은 남을 가능성이 큽니다.

Q9. 처음 공부한다면 어디부터?
Tokenization, Prompt, RAG부터 보세요.

 

 

---

여기까지 읽히셨다면, 이미 절반은 이해한 겁니다.

AI가 어려운 게 아니라, 설명이 어려웠을 뿐이니까요.

이제는, 조금 덜 막막할 겁니다.