AI의 여정: 기초부터 생성형 AI까지의 진화와 작동 원리

최근 몇 년간 최첨단 기술과 서비스는 방향과 동적, 그리고 사용 사례 면에서 급격한 변화를 겪고 있습니다. 특히 인공지능(AI)은 다양한 형태로 우리의 일상에 깊숙이 스며들어, 우리가 살아가는 방식과 일하는 방식을 크게 변화시키고 있습니다. 이 글에서는 AI와 머신러닝(ML)의 기초, 그 활용, 생성형 AI의 진화, 프롬프트 엔지니어링, 그리고 LangChain에 대해 자세히 알아보겠습니다.

 

AI의 여정: 기초부터 생성형 AI까지의 진화와 작동 원리

 

AI와 ML이란 무엇인가?

인공지능(AI)은 인간의 지능과 사고 과정을 시뮬레이션하여 학습과 문제 해결을 수행하는 능력입니다. AI는 역사적으로 인간만이 할 수 있었던 복잡한 작업을 수행할 수 있습니다. AI를 통해 비인간 시스템은 새로운 정보를 학습하고 결정을 내리는 데 있어 사람들의 추론을 모방합니다.

 

AI의 주요 기능

AI는 패턴 인식, 예측 모델링, 자동화, 이미지 인식, 개인화 등의 기능을 가지고 있으며, 이는 실생활에서 매우 유용하게 사용되고 있습니다. 예를 들어, 자율주행차를 운전하거나 체스나 바둑과 같은 복잡한 게임을 두는 것도 가능합니다.

 

머신러닝(ML)

머신러닝은 데이터에 기반한 알고리즘을 사용하여 모델을 생성하고 이러한 복잡한 작업을 수행하는 AI의 하위 집합입니다. 오늘날 대부분의 AI는 머신러닝을 통해 수행되므로, AI와 ML은 종종 동의어로 사용됩니다. 그러나 AI는 컴퓨터 소프트웨어와 시스템을 사용하여 인간과 같은 인지 능력을 창출하는 일반적인 개념을 의미하는 반면, ML은 그 중 한 가지 방법에 불과합니다. ML은 컴퓨터 시스템이 경험을 통해 스스로 학습하고 개선할 수 있도록 합니다.

 

생성형 AI란 무엇인가?

생성형 AI(Generative AI)는 사용자가 다양한 입력을 바탕으로 새로운 콘텐츠를 빠르게 생성할 수 있도록 하는 알고리즘 집합을 사용합니다. 생성된 콘텐츠는 텍스트, 이미지, 사운드트랙, 비디오 등을 포함합니다. 이러한 알고리즘은 방대한 양의 비정형 데이터를 학습한 대형 언어 모델(LLM)을 기반으로 구축됩니다.

 

전통적인 AI와의 차이점

전통적인 AI는 주로 패턴 인식에 강점을 가지고 있지만, 생성형 AI는 패턴 생성에 강점을 가지고 있습니다. 전통적인 AI는 데이터를 분석하고 인식한 내용을 알려주는 반면, 생성형 AI는 동일한 데이터를 사용하여 완전히 새로운 것을 만들어냅니다. 두 AI 모두 머신러닝 알고리즘을 사용하여 결과를 도출하지만, 그 목적과 용도가 다릅니다.

 

FM과 LLM

Foundation Model (FM)

Foundation 모델은 더 구체적인 애플리케이션을 위한 기초로 사용됩니다. 이러한 모델은 텍스트, 이미지, 오디오 생성 등 다양한 작업과 애플리케이션에 사용될 수 있습니다. 예를 들어, GPT-3, BERT, BLOOM 등과 같은 시스템이 있습니다.

 

대형 언어 모델 (LLM)

대형 언어 모델(LLM)은 자연어를 처리하고 이해하기 위해 심층 학습 알고리즘과 신경망 기술을 사용하는 머신러닝 모델입니다. 이러한 모델은 방대한 양의 텍스트 데이터를 학습하여 언어 내 패턴과 엔터티 관계를 학습합니다. LLM은 주로 텍스트 생성, 기계 번역, 요약 작성, 이미지 생성, 코드 생성, 챗봇 등에 사용됩니다.

 

생성형 AI의 작동 원리

생성형 AI는 LLM과 Foundation 모델을 통해 구동되며, 방대한 양의 데이터를 사전 학습한 머신러닝 모델로 구성됩니다. 이러한 모델은 자가 지도 학습과 비지도 학습을 사용하여 문맥에 따라 다음 토큰을 예측합니다. 일반적으로 변환기 기반 아키텍처를 사용하며, 자기 주의 메커니즘을 통해 입력 시퀀스의 가중 합을 계산하고 시퀀스 내에서 가장 관련성 있는 토큰을 동적으로 결정합니다.

 

LLM의 활용

LLM은 몇 샷 학습과 제로 샷 학습 시나리오에 사용됩니다. 이는 매우 제한된 라벨링 데이터 또는 라벨링 데이터가 없는 상황에서도 유용한 표현을 학습하고 추론할 수 있는 능력을 요구합니다.

 

생성형 AI의 산업 적용 사례

생성형 AI는 다양한 산업 분야에서 혁신적인 방법으로 사용되고 있습니다. 몇 가지 주요 사례는 다음과 같습니다:

 

미디어 및 엔터테인먼트

비디오 게임, 영화, 애니메이션, 세계 구축, 가상 현실 등 다양한 분야에서 더 많은 창의성을 제공합니다.

 

자동차 산업

디자이너가 제공한 텍스트 설명을 바탕으로 자동차의 3D 모델을 시뮬레이션하고 설계합니다. 또한, 생성형 AI는 자율주행차를 훈련시키기 위한 합성 데이터를 생성할 수 있습니다.

 

의료 산업

생성형 모델은 새로운 단백질 서열을 개발하여 약물 발견을 돕고, 의료 기록 작성, 의료 코딩, 의료 영상 분석 및 유전체 분석과 같은 작업을 자동화할 수 있습니다.

 

이미지 생성

텍스트를 이미지로 변환하고, 설정, 주제, 스타일 또는 위치에 따라 현실적인 이미지를 생성합니다.

 

음악 생성

생성형 AI는 음악 제작에도 유용합니다. 음악 생성 도구를 사용하여 광고 또는 기타 창의적인 목적을 위한 새로운 음악 자료를 생성할 수 있습니다.

 

개인화된 콘텐츠 생성

사용자의 개인적 선호, 관심사 또는 기억을 바탕으로 개인화된 콘텐츠(텍스트, 이미지, 음악 등)를 생성합니다.

 

프롬프트 엔지니어링

프롬프트 엔지니어링은 LLM이 더 정확하게 특화된 작업을 수행할 수 있도록 유도하는 프롬프트(질문)를 개발하는 기술입니다. 이는 언어 모델에 전달된 지시 사항과 맥락을 통해 원하는 출력을 얻는 AI 엔지니어링 기법입니다.

프롬프트는 두 가지 유형으로 나눌 수 있습니다:

1. 하드 프롬프트: 인간에 의해 고정된 하드 코딩 프롬프트
2. 소프트 프롬프트: AI에 의해 생성된 프롬프트

소프트 프롬프트는 복잡한 질문을 하는 데 더 적합합니다. 프롬프트 자체는 AI 모델을 사용하여 생성될 수 있으며, 이는 AI 엔지니어가 언어 모델을 효율적으로 사용하는 데 유용한 기술이 됩니다.

 

LangChain을 사용한 프롬프트 엔지니어링 예시

LangChain은 강력한 LLM 기반 애플리케이션을 구축하기 위한 오픈 소스 프레임워크입니다. LangChain은 사용자에게 API를 통해 LLM 모델과 통합할 수 있는 라이브러리 세트를 제공합니다. 이 프레임워크는 프롬프트 템플릿과 환경 구성을 위한 다양한 클래스를 제공합니다. LangChain은 모델 자체를 제공하지 않지만, 다른 LLM 제공자의 모델과 통합할 수 있도록 합니다.

다음은 LangChain과 프롬프트를 사용한 코드 스니펫입니다.

# pre-requisites
pip install OpenAI
pip install Langchain

# Step 1: Import various Langchain libraries
from langchain.prompts import PromptTemplate
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from langchain.chains.summarize import load_summarize_chain
import openai

# Step 2 : Set the API Key of LLM provider
import os
os.environ['OPENAI_API_KEY'] = ‘<API-KEY>’ #one must create an API Key as pre-requisite

#define the LLM model to be used 
davinci = OpenAI(model_name='text-davinci-003')

user_input = input("Enter a concept: ")

# Step 3: Define the Prompt Template
prompt = PromptTemplate(
     input_variables=["subject"],
     template="write me an essay about {subject}",
)

# Step  (optional): Print the Prompt Template
print(prompt.format(subject=user_input))

# Step 4: Instantiate the LLMChain
llm = OpenAI(temperature=0.9)
chain = LLMChain(llm=llm, prompt=prompt)

# Step 5: Run the LLMChain
output = chain.run(user_input)
print(output)

#=== summarizing the output and use a prompt ====
#step 6 : Summarize
response = openai.Completion.create(
   engine="davinci", 
   prompt=f"Summarize in 200 words:\n{output}",
   max_tokens=1024,
   temperature=0.5,
  n = 1,
  stop=None
)
print("summary is below\n")
print(response.choices[0].text.strip())

 

 

결론

AI와 생성형 AI는 우리의 생활과 산업 전반에 걸쳐 많은 변화를 가져오고 있습니다. AI는 효율성 극대화에 강점을 가지고 있으며, 생성형 AI는 새로운 콘텐츠를 생성하는 데 탁월한 능력을 발휘합니다. 프로그래머와 AI 엔지니어는 이러한 도구를 효과적으로 활용하여 더 나은 결과를 도출하고, 지속적으로 학습하고 새로운 기술을 습득해야 합니다. 앞으로도 AI와 생성형 AI의 발전은 계속될 것이며, 우리는 이러한 변화를 긍정적으로 받아들이고, 새로운 기술을 적극 활용하여 더 나은 미래를 만들어 나가야 할 것입니다.