인공지능의 기하급수적 성장: 기회와 도전

생성 AI의 기하급수적인 성장이 제시하는 기회와 그 잠재력을 완전히 실현하기 위해 극복해야 하는 과제에 대해 알아보겠습니다.

생성 AI가 제공하는 기회는 상당하지만, 대형 언어 모델(LLM)을 개발하거나 유지하는 데 드는 어려움과 비용, 그리고 잠재적인 부정확성과 같은 주요 과제도 있습니다.

생성 인공지능의 인기는 점점 높아지고 있습니다. 인공지능은 이제 저녁 파티에서 뉴스 채널 또는 디지털 전환 배우에 이르기까지 모든 곳에서 심각한 대화 주제가 되었습니다. 물론 일반적으로 인공지능 기술, 더 구체적으로 말하면 ChatGPT 기술은 갑자기 나온 것이 아닙니다. 2020년까지만 해도, 가장 계몽된 전문가들은 이미 생성 AI가 차세대 AI의 필수적인 기둥이 될 것이라고 예측했습니다.

 

"오늘날의 머신 러닝 모델은 얼굴 인식이나 사기 식별과 같은 기존 데이터를 대부분 해석하고 분류합니다. 생성 AI는 빠르게 성장하는 새로운 분야로, 대신 자체적으로 새로운 콘텐츠를 생성할 수 있는 AI 구축에 초점을 맞춥니다. - Forbes 차세대 인공지능 2020년 10월"

 

인공지능의 모든 영역에서 최근의 작업은 생성 인공지능에 유리한 가속화를 만들어내고 있습니다. 차세대 LLM은 이미 스타트업, 거대 기술 기업 및 AI 연구 그룹에서 개발되고 있습니다.

 

 

인공지능의 기하급수적 성장: 기회와 도전

 

 

자체 교육 데이터를 생성할 수 있는 모델

AI 연구의 새로운 방식은 LLM이 성능을 향상시키기 위해 자체 교육 데이터를 생성할 수 있는 방법을 탐구하는 것입니다. 이 아이디어는 어떤 주제에 대해 생각할 때 인간이 스스로 배우는 방식에서 영감을 끌어내는 것입니다. Google의 연구 노력은 이미 질문을 생성하고, 답변을 생성하고, 고품질 결과를 필터링하고, 선택된 답변을 세분화할 수 있는 LLM을 구축했습니다. 실제로, 언어 모델 자체 개선(LMSI)으로 알려진 방법은 구글과 UIUC(Illinois University Urbana-Champaign)의 연구원들에 의해 도입되었습니다. 이 접근 방식은 모델 자체에서 생성한 데이터 세트를 사용하여 LLM을 미세 조정하는 것입니다. 

LLM의 성능은 고유한 자연어 명령을 생성하고 해당 명령에 적응함으로써 향상될 수 있습니다. 구글과 카네기 멜론 대학의 연구는 또한 LLM이 인간이 관점을 공유하기 전에 생각하는 것과 같은 방식으로 "응답하기 전에 어떤 주제에 대해 알고 있는 것을 먼저 암송"한다면 더 정확한 답을 제공할 수 있다는 것을 보여줍니다.

언어 모델링의 최근 발전은 LLM을 사용하면 자연어 처리(NLP) 응용 프로그램의 성능을 크게 향상시킬 수 있음을 보여주었습니다. 그러나 모델의 크기가 크기 때문에 이 작업은 어려울 수 있으며, 이 경우 훈련을 위해 많은 메모리와 CPU 전력이 필요할 수 있습니다.

언어 모델링의 진정한 잠재력을 실현하기 위해 NVIDIA와 Microsoft는 메가트론 튜링 자연어 생성(MT-NLG)이라는 자동 NLP 모델을 개발하고 있습니다. 5,300억 개의 매개변수로 만들어졌는데, 이는 오늘날 벤치마크가 되고 있는 Open AI GPT-3 NLP 모델보다 2배 이상 큽니다.

이 모델은 자동화된 NLP의 일부 장애물을 극복하는 것처럼 보이지만, 여전히 개선되어야 합니다. NVIDIA와 MS는 이러한 LLM이 언어 생성의 큰 도약을 나타내지만 여전히 결함과 편견을 가지고 있다고 지적합니다. 연구자들의 관찰은 모델이 훈련된 데이터에 존재하는 고정관념과 편견을 영구화할 수 있다는 것을 보여줍니다. 이는 데이터 수집, 분석, 모델링 및 감독 교육 영역으로 이어집니다.

 

 

자체적으로 사실을 확인할 수 있는 모델

생성 AI 모델은 인터넷의 데이터를 사용하여 사용자 요청에 따라 예측을 생성하도록 모델을 훈련시킵니다. 그러나 예측이 100% 정확하거나 편향되지 않는다는 보장은 없습니다. 또한 시스템의 응답을 제공하는 정보가 어디에서 왔는지 알기 어려울 수 있습니다. 

따라서 생성적 AI의 사용은 비즈니스에 잠재적인 영향을 미치는 도덕적, 법적, 윤리적 문제를 제기합니다. 문제는 콘텐츠의 소유권 또는 단순히 "발명된" 답변을 생성할 위험에 대한 것입니다. 그런 만큼 단기적으로 생성 인공지능이 생성한 정보를 어떻게 활용하는지에 대해 주의하는 것이 현명합니다.

현재 LLM(대형 언어 모델) 또는 LaMDA(대화 응용 프로그램용 언어 모델)는 부정확하거나 잘못된 정보를 생성할 수 있습니다. 웹 망원경에 대한 구글 바드의 잘못된 주장 아래를 보세요.

 

- 제임스 웹 우주 망원경에서 제가 9살짜리 아이에게 말할 수 있는 새로운 발견은 무엇입니까?

- 웹은 태양계 밖에 있는 외계 행성이나 행성의 첫 번째 사진을 찍었습니다.

 

그러나 이 문제를 해결하기 위해 새로운 기능이 개발되고 있습니다.

여기에는 LLM이 외부 소스로부터 정보를 추출하고 제공하는 정보에 대한 참조를 제공하는 기능이 포함됩니다. 예를 들어, OpenAI WebGPT는 웹 검색을 통해 언어 모델의 사실적 정확성을 향상시킵니다.

"사실 확인 및 재시도: Microsoft Research and Columbia University의 "외부 지식과 자동화된 피드백으로 큰 언어 모델 개선"은 LLM-AGENGER라는 시스템을 제안합니다. 미션 크리티컬 애플리케이션에서 LLM을 사용하는 데 도움이 됩니다. 시스템은 작업별 데이터베이스의 외부 지식을 통합하여 LLM 생성 응답의 정확도를 향상시킵니다. 반복적인 프롬프트 수정을 사용하여 응답의 정확성과 신뢰성을 향상시킬 수 있습니다. 시스템은 대화 및 질문 응답 시나리오에서 테스트되었으며 응답 품질에 영향을 주지 않고 잘못된 정보를 줄이는 것으로 보입니다.

LLM은 최근 몇 년 동안 매년 10배씩 크기가 증가한 것으로 간주됩니다. 좋은 소식은 이러한 모델이 복잡성과 규모가 커짐에 따라 기능도 증가한다는 것입니다. 그러나 LLM은 개발 및 유지보수가 어렵고 비용이 많이 듭니다. 따라서 비용과 부정확성은 잠재력을 최대한 발휘하려면 해결해야 할 주요 과제입니다.

 

 

요약

자체 콘텐츠를 제작할 수 있는 AI를 만드는 데 초점을 맞춘 생성 AI는 빠르게 성장하는 분야입니다. 최근 AI의 모든 분야에서의 발전은 성능을 향상시키기 위해 자체 훈련 데이터를 생성할 수 있는 모델과 사실의 자체 검증을 수행할 수 있는 모델을 개발하는 등 생성 AI에 유리한 가속화를 일으키고 있습니다.

LLM은 개발 및 유지보수가 복잡하고 비용과 부정확성이 여전히 주요 과제입니다. 하지만 의심할 여지 없이, 주요 기술 및 연구 주체들의 노력은 이러한 시스템의 능력을 향상시키고, 이는 곧 잠재력에 도달할 것입니다.