쵸코쿠키의 연습장

머신러닝 모델의 성능 최적화와 고객 지원 서비스 혁신 현대 비즈니스 환경에서 기술의 발전은 기업이 고객과의 상호작용을 극적으로 변화시켰습니다. 특히, 인공지능(AI)과 머신러닝(ML) 기술의 진보는 고객 서비스 영역에서 혁신적인 변화를 이끌어내고 있습니다. 이러한 기술들은 비단 정보 검색 시스템의 질을 개선하는 데만 국한되지 않고, 대화형 AI, 추천 시스템, 감성 분석 등 다양한 방식으로 고객 지원 서비스를 최적화하는 데 활용됩니다. 그러나 이런 첨단 기술의 배후에는 방대한 계산 자원과 높은 비용이 수반되며, 이는 기업이 고성능 상황에서 모델을 적용하는 데 있어 제약으로 작용하기도 합니다. 따라서, 모델의 성능을 극대화하는 동시에 계산 복잡성과 비용을 절감하는 방법론에 대한 요구가 점점 더 증가하고 있..

인공지능(AI) 기술의 눈부신 발전 속에서, 엣지 머신 러닝(Edge ML)의 통합은 특히 눈길을 끄는 혁신입니다. 이 기술은 기기가 중앙 집중식 클라우드 서버에 의존하지 않고, 현장에서 직접 AI 주도 작업을 수행할 수 있게 함으로써, 데이터 처리의 지역화를 가능하게 합니다. 엣지 머신 러닝은 지연 시간을 줄이고, 데이터 프라이버시를 강화하며, 실시간 의사 결정을 가능하게 하는 등 다양한 이점을 제공합니다. 이 블로그에서는 엣지에서의 머신 러닝, 그 중요성, 그리고 기업용 엣지 컴퓨팅 사용 사례들을 탐구해 보겠습니다. AI의 미래, 바로 엣지에서 일어나고 있는 혁신의 세계로 여러분을 초대합니다. 엣지 머신 러닝 엣지 머신 러닝은 스마트폰, IoT 기기, 내장 시스템과 같은 엣지 디바이스에 머신 러닝 알..

Generative AI를 위한 최신 MLOps 플랫폼은 기계 학습 작업의 관행을 Generative 모델의 고유한 측면과 원활하게 통합합니다. 제너레이티브 AI를 위한 최신 MLOps 플랫폼은 머신 러닝 운영 관행을 제너레이티브 모델의 고유한 측면과 원활하게 통합합니다. 이러한 플랫폼은 제너레이티브 AI 모델의 엔드투엔드 라이프사이클을 자동화하고 간소화하여 견고성, 확장성 및 재현성을 보장하기 위해 노력합니다. 모델 개발 및 배포의 기술적 측면과 제너레이티브 모델 고유의 윤리적, 안전 및 거버넌스 고려 사항을 모두 다루는 총체적 접근 방식이 중요합니다. 플랫폼의 아키텍처 1. 데이터 수집 및 저장 데이터 수집: 다양한 소스의 데이터를 활용합니다. 데이터 스토리지: 증가하는 모델 크기와 계산 요구에 최적..

연구자들은 AI를 윤리적이고 신뢰할 수 있도록 모델의 복잡성과 해석의 용이성을 균형 있게 고려한 방법론을 지속적으로 개발해야 합니다. 자연어 처리, 생성 AI, 자율 시스템 등 다양한 영역에서 머신 러닝 모델의 사용에 큰 발전이 있었습니다. 반면, 모델의 복잡성과 규모가 증가함에 따라 내부에서 작동하는 방식에 대한 가시성이 떨어지고, 이로 인해 투명성과 책임성이 부족합니다. 이 문제를 해결하기 위한 중요한 연구 분야로 최근 모델의 설명 능력에 대한 아이디어가 부각되고 있습니다. 이 글에서는 머신 러닝 모델 설명 가능성의 중요성과 그와 관련된 어려움 및 해석 가능성을 향상시키기 위해 고안된 해결책을 탐구합니다. 모델 개방성과 인간이 이해할 수 있는 통찰력을 가능하게 하는 설명 가능성은 AI 시스템에 대한 ..

머신러닝의 발전을 견인하고 AI 혁명을 촉진하는 데 있어 데이터의 중요한 역할을 탐구하여 그 중요성을 밝힙니다. 인공 지능의 계속 진화하는 풍경에서 한 가지 부인할 수 없는 진실이 눈에 띕니다. 가장 간단한 선형 회귀 모델에서 가장 복잡한 심층 신경망에 이르기까지 기계 학습 알고리즘은 예측을 하고 패턴을 인식하며 경험으로부터 학습하기 위해 데이터에 크게 의존합니다. 이 블로그에서 기계 학습에서 데이터가 수행하는 중요한 역할과 AI의 세계에서 "데이터는 왕"이라고 자주 말하는 이유를 자세히 살펴볼 것입니다. 데이터 기반 학습 프로세스 머신 러닝은 본질적으로 데이터를 통해 학습하는 과정입니다. 이 과정의 핵심에는 다음과 같은 주요 단계가 포함됩니다: 1. 데이터 수집 여기서 모든 것이 시작됩니다. 데이터가 ..

AI 및 ML 워크로드의 잠재력을 최대한 끌어내는 단순화된 데이터 인프라를 통해 AI 이니셔티브의 가치 창출 시간을 단축합니다. 대표적인 데이터 플랫폼 기업인 알룩시오는 최근 엔터프라이즈 인공지능(AI) 및 머신러닝(ML) 워크로드를 가속화하기 위해 개발된 새로운 솔루션인 알룩시오 엔터프라이즈 AI를 발표했습니다. AI에 최적화된 인프라에 대한 니즈 증가 많은 조직이 디지털 전환을 주도하고 경쟁 우위를 확보하기 위해 AI에 투자하고 있지만 기존 데이터 인프라는 다음과 같은 과제로 인해 AI 채택을 종종 방해합니다: 느린 데이터 액세스 및 GPU 활용률 저하 사일로화된 사내 및 클라우드 환경 전반에 걸쳐 데이터 조각화 복잡한 데이터 파이프라인으로 모델 개발 속도 저하 AI 워크로드 요구를 충족하기 위한 인..

이 기사에서는 의사결정 트리와 랜덤 포레스트 알고리즘 뒤에 숨겨진 아이디어를 다루며, 이 둘과 그 이점을 비교합니다. 정교한 알고리즘의 발전은 데이터가 처리되고 선택되는 방식을 완전히 바꿨습니다. 온라인 데이터가 너무 많아지면서 효율적인 해석과 의사 결정 도구가 필수적이 되었습니다. 하지만 너무 많은 옵션을 이용할 수 있기 때문에 최선의 옵션을 선택하는 것은 어려울 수 있습니다. 의사 결정 트리와 랜덤 포레스트 알고리즘 뒤에 숨겨진 아이디어는 이 블로그에서 두 가지를 비교하는 것과 함께 다뤄질 것입니다. 랜덤 포레스트 대 선택 트리의 이점에 대해서도 살펴볼 것입니다. 의사결정 트리는 트리와 같은 구조를 사용하여 목표 변수를 예측하기 위해 특징 값에 따라 데이터를 재귀적으로 분할하는 모델입니다. 알고리즘은..

양자 기계 학습과 현재의 과제, 기회, 평가 및 적시성 또는 성숙도에 대해 더 자세히 알게 될 것입니다. QML이란 양자 기계 학습은 양자 물리학과 기계 학습을 결합한 연구 분야입니다. 기계 학습 알고리즘의 효율성과 효과를 향상시키기 위해 빠르고 복잡한 계산에 대한 양자 컴퓨팅의 잠재력을 사용합니다. 이는 데이터 처리 속도를 높이고 데이터의 새로운 통찰력을 잠재적으로 밝힐 수 있습니다. QML의 과제 데이터 인코딩 체계: 양자 기계 학습 모델에 대한 입력으로 사용하기 위해 양자 상태로 변환해야 하는 많은 고전적인 데이터가 있습니다. 이 단계는 정확한 데이터 인코딩 체계가 양자 상태가 진폭, 기저 또는 회전으로 Bloch 구에서 적절하게 표현되도록 보장하기 때문에 중요합니다. QML 모델 설계: 데이터의 ..

다양한 알고리즘, 모델 및 실제 응용 프로그램을 검색하여 이 기술의 혁신 가능성을 엽니다. 머신 러닝은 더 넓은 인공지능(AI) 분야 내에서 빠르게 진화하는 분야입니다. 그것은 컴퓨터가 학습하고 데이터에 기초하여 예측 또는 결정을 내릴 수 있도록 하는 알고리즘과 모델의 개발을 포함합니다. 머신 러닝은 그것의 광범위한 적용과 복잡한 작업을 자동화하는 능력 때문에 최근에 점점 인기가 많아지고 있습니다. 기계 학습이란 그 핵심은 데이터로부터 배울 수 있는 수학적 모델과 알고리즘을 만드는 것입니다. 특정 작업을 수행하도록 컴퓨터를 명시적으로 프로그래밍하는 대신, 머신 러닝 알고리즘은 예측을 하거나 행동을 취하기 위해 데이터의 예시와 패턴으로부터 학습합니다. 학습하고 적응하는 이러한 능력은 머신 러닝을 복잡하고 ..

전화번호 변화 특성 때문에 이러한 서비스는 항상 정확성이 문제였지만, 기계 학습과 인공지능이 결과를 개선하고 있습니다. 기계 학습 기술은 많은 응용 분야에서 점점 중요해지고 있습니다. 최근 분석에 따르면 글로벌 기업과 소비자는 2021년 기계 학습 기술에 149억 달러 이상을 지출했습니다. 기계 학습의 많은 방법 중 하나는 역 룩업입니다. Murto Hilali는 전화 룩업을 처리하기 위해 기계 학습을 사용하는 것의 이점에 대한 흥미로운 기사를 데이터 과학을 향해 출판했습니다. 머신 러닝이 역방향 전화 룩업 산업 변화 기술의 발전으로 역방향 전화 조회 서비스는 점점 인기를 얻고 있습니다. 그것들은 누가 당신에게 전화를 걸거나 전화 번호를 소유하고 있는지를 알아낼 수 있는 좋은 방법입니다. 그러나 전화 번..

머신러닝의 지속적인 학습에 대한 동기, 어려움 및 잠재적인 해결책에 대해 설명하겠습니다. 실시간 기계 학습은 실제 데이터를 제공함으로써 기계 학습 모델을 지속적으로 개선하는 것을 말합니다. 데이터 분석가/과학자 또는 개발자는 이전 테스트 세트의 모음을 사용하여 오프라인에서 모델을 만듭니다. 모든 부문과 산업은 인지 연구든 자동 연속 프로세스든 기계 학습에서 가능한 모든 이점을 얻기 위해 최선을 다합니다. 구글 홈과 같은 스마트 홈 비서나 스마트 활동 추적 장치, 알렉사나 시리와 같은 음성 인식 시스템 또는 자동화된 자동차를 생각해 보십시오. 이 인공 기술은 많이 발전했습니다. 기계 학습은 아래에 정의된 다른 유형으로 더 세분화됩니다: 지도 학습: 모델이 정확한 결과/라벨을 예측합니다. 대부분의 지도 학습..

이미지 인식, 자연어 처리 및 추천 시스템을 위한 강력한 데이터 구조를 통해 기계 학습 잠재력을 극대화합니다. 머신 러닝 알고리듬이 대규모 데이터 세트를 분석하고 조작하려면 효과적인 데이터 구조가 필수적입니다. 프로그래머와 데이터 과학자는 이러한 데이터 구조를 이해함으로써 성능을 향상시키고 프로그램을 최적화할 수 있습니다. 기계 학습에 사용되는 가장 일반적인 데이터 구조에 대해 알아봅니다. 머신러닝의 데이터 구조와 알고리즘 데이터 구조는 컴퓨터의 메모리에 데이터를 구성하고 저장하는 것을 말합니다. 기계 학습 프로세스는 공통 데이터 구조를 사용하여 각 단계에서 데이터를 효율적으로 저장하고 수정합니다. 기계 학습의 맥락에서 알고리즘은 모델을 훈련하고, 예측을 하고, 데이터를 분석하는 데 사용되는 수치 또는 ..

백도어 액세스에 의해 촉진되는 데이터 중독은 탐지 없이 기계 학습 데이터를 왜곡할 수 있습니다. 다음은 백도어 데이터 중독으로부터 보호하기 위한 몇 가지 팁입니다. 인공지능은 기계 학습이 인간이 이전에 생각하지 못했던 매우 귀중한 통찰력을 제공함에 따라 모든 분야를 혁신과 효율성으로 전환하고 있습니다. 그러나 AI 채택이 광범위하기 때문에 위협 행위자는 데이터 세트를 자신에게 유리하게 조작할 수 있는 기회를 봅니다. 데이터 중독은 모든 조직의 AI 발전을 위태롭게 하는 새로운 위험입니다. 그래서 지금 이익을 얻기 위해 시류에 편승할 가치가 있는가, 아니면 기업들은 위험이 더 통제될 때까지 기다려야 합니까? 데이터 중독 인간은 AI 데이터를 정확한 결정을 보장하기 위해 지속적으로 설정합니다. 감독은 부정확..

인공지능(AI)과 기계 학습(ML)으로 기계에서 인간의 지능을 시뮬레이션하는 것이 가능합니다. 이러한 시뮬레이션을 통해 많은 사람의 도움 없이 다양한 작업을 완료할 수 있습니다. 기업이 더 효율적이고 새로운 AI 및 ML 모델을 개발하려면 정확한 교육 데이터가 필요합니다. 인공지능(AI) 훈련 데이터로 추가 사용하기 위해 데이터 주석 및 레이블링을 통해 후속적으로 강화될 수 있는 훈련 데이터 세트를 사용하여 주어진 문제에 대한 더 나은 이해를 얻을 수 있습니다. 기계가 배우는 것 기계 학습의 목표는 데이터와 알고리즘을 사용하여 인간의 학습 과정을 모방하는 것입니다. 예측의 정확도가 점차 향상됩니다. 통계적 방법을 사용하면 알고리즘이 기계 학습을 사용하여 데이터 마이닝 프로젝트 내에서 분류 또는 예측을 수..

분석이 ML과 어떻게 관련이 있는지 설명하겠습니다. 머신러닝과 관련된 몇 가지 말도 안 되는 말들을 해독하고 ML의 프로세스와 유형을 설명하겠습니다. 분석이 머신러닝과 어떻게 관련이 있는지 설명하겠습니다. ML에 관한 몇 가지 말도 안 되는 말들을 해독하고, 기계 학습의 과정과 유형을 설명하려고 노력할 것입니다. 마지막으로, 다음 단계의 인공지능 - 딥 러닝을 설명하는 몇 개의 비디오를 공유할 것입니다. 인공지능 전문가가 아니더라도 걱정하지 마십시오. 선형 회귀 및 K-평균 클러스터링에 대해서는 다시 언급하지 않겠습니다. 이것은 쉬운 영어로 된 기사입니다. 분석 및 기계 학습 빅 데이터는 SQL 쿼리와 테라바이트급 데이터의 전부라고 생각해도 무방하겠지만, 진정한 목적은 통찰력을 확보하여 데이터에서 가치를..

잔차의 의미 (Residual) 회귀 계수의 추정에 대해 이해하기 위해서는 잔차를 이해해야 한다고 합니다. 잔차는 실제 출력 변수와 예측한 출력 변수의 차를 의미합니다. 그 차이를 표현하면 위 수식으로 표현할 수 잇습니다. 잔차를 그림으로 본다면 위와 같습니다. 즉, 예측한 식과 실제 값과의 거리들이 표현되고 있는 것을 알 수 있습니다. 잔차의 제곱합 SSE는 아래와 같습니다. 그렇다면 가장 예측력이 좋은 회귀식을 가져오기 위해서는 이러한 SSE 값을 최소화하는 방식으로 추정해나가야 하는 것입니다. 따라서 SSE를 최소화하기 위해 편미분을 합니다. 이러한 방식을 최소자승법이라고도 하며 OLS라고도 합니다. OLS는 ordinary least square method라고 부릅니다. SSE가 가장 작은 지점..

회귀분석이란 입력 데이터와 출력 데이터 간의 상호 관련성을 찾으려는 시도가 많이 있었습니다. 따라서, 두 변수 간의 관계식, 관계 정도에 대한 연구가 진행되었습니다. 회귀분석은 주어진 데이터를 기반으로 입력 데이터와 출력 데이터 사이에 수학적 관계에 대한 모형을 추정하는 방법론이라 할 수 있습니다. 회귀분석을 통해 2가지를 기대할 수 있습니다. 변수들 간에 함수 관계가 성립하는지, 만약 성립한다면 입력 변수의 중요도를 파악할 수 있습니다. 또한, 함수 관계를 바탕으로 입력 변수로 출력 변수 값을 추정 또는 예측하는 데 사용가능합니다. 단순 선형 회귀의 회귀식은 위와 같이 나타낼 수 있습니다. B0는 절편, B1은 기울기를 의미합니다. 실제 값은 구하기 어려우며, 추정을 통해 얻어내는 것입니다. 이렇게 추..

MSE f가 제대로 추정되었는지 평가하기 위함입니다. 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요합니다. MSE ( mean squared error) 는 모형의 적합성(오류)를 평가하는 지표입니다. MSE는 실제 종속 변수와 예측한 종속 변수간의 차이를 의미합니다. 따라서 작을수록 좋지만, 과도하게 줄이면 과적합의 오류를 범할 가능성이 있습니다. 따라서, 검증 집합의 MSE를 줄이는 방향으로 f를 추정합니다. MAPE mean absolute percentage error는 모형의 적합성을 평가하는 지표입니다. MAPE는 퍼센트 값을 가지며 0에 가깔우수록 회귀 모형의 성능이 좋다고 할 수 있습니다. 0% ~ 100% 사이의 값을 가져 이해하기 쉬울 수 있습니다. 성능 비교 해석이 또한 가능합..

k-Fold 교차 검증 (k-Fold Cross Validation) 모형의 적합성을 보다 객관적으로 평가하기 위한 방법입니다. 데이터를 k개로 나누어 줍니다. 그 중 하나를 검증 집합, 나머지를 학습 집합으로 분류합니다. 위 과정을 k 번 반복합니다. 그 다음 k 개의 성능 지표를 평균하여 모형의 적합성을 평가합니다. LOOCV ( Leave One Out Cross Validation ) 데이터의 수가 적을 떄 사용하는 교차 검증 방법입니다. 총 n 개의 모델을 만듭니다. 각 모델은 하나의 샘플만 제외합니다. 모델을 만들고 제외한 샘플로 성능 지표를 계산합니다. 이렇게 도출된 n 개의 성능 지표를 평균 내어 최종 성능 지표를 도출합니다.

데이터 분할 과적합을 방지하기 위해서는 전체 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 나누어야 합니다. 보통 비율은 5 : 3 : 2 로 정합니다. 따라서 생각보다 많은 데이터를 보유해야만 좋은 모형을 만들 수 있습니다. 학습 데이터 : train data : 모형 f 를 추정하는 데 필요합니다. 검증 데이터 : validation data : 추정한 모형 f 가 적합한지 검증합니다. 테스트 데이터 : test data : 최종적으로 선택한 모형의 성능을 평가합니다. 데이터 분할 : 전체 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 나누어집니다. 모형 학습 : 학습 데이터를 사용하여, 각 모형을 학습합니다. 모형 선택 : 검증 데이터를 사용하여, 각 모형의 성능을 비교하고 선택합니다..