쵸코쿠키의 연습장

데이터 수집 데이터 속에서 출력은 입력에 의해 대부분 결정됩니다. 따라서 모형이 학습되는 것입니다. 입력 데이터가 출력 데이터를 제대로 설명하지 못하면 모형과 상관없이 학습이 제대로 되지 않습니다. 즉 "Garbage in, Garbage out" 현상이 발생하는 것 입니다. 만약 머신 러닝에서 입력 변수가 출력 변수를 제대로 설명하지 못한다면, 다른 종류의 입력 변수들을 확보해서 분석해야 합니다. 좋은 모델을 위해서는 충분한 양의 데이터, 좋은 품질의 데이터, 대표성을 띄는 데이터, 관련 있는 특성이 존재하는 데이터가 필요합니다. 데이터 정규화 머신 러닝 모형들은 각자 학습 파라미터가 존재합니다. 이러한 파라미터는 알고리즘에 의해 학습 데이터에 맞게 파라미터는 조정하는 과정이 필요합니다. 이 떄, 변수..

지도학습 지도학습의 종류 회귀 (Regression) : 입력 변수 X에 대해서 연속형 출력 변수 Y를 예측합니다. 예를 들면, 센서 값에 따른 두께 예측하는 것이 있습니다. 분류 (Classification) : 입력 변수 X에 대해서 이산형 출력 변수 Y을 예측합니다. 예를 들면, 불량 여부를 예측하는 것이 있습니다. 회귀 분석에서 F란 무엇일까? f를 구하기 위해서 입력 변수와 출력 변수가 필요합니다. p개의 입력 변수 X1, X2, ... , Xp 가 있고, 출력 변수 Y 가 있습니다. 이 떄, X = (X1, X2, ... , Xp) 라 하면 입력 변수와 출력 변수의 관계를 나타내는 식은 다음과 같습니다. Y = f(X) + e f 는 정해졌지만 알 수 없는 함수를 의미하며, e는 오차 항을 의..

머신러닝의 역사 머신 러닝은 데이터 속에 숨어있는 규칙적인 패턴을 찾아냅니다. 그 다음 다양한 수리적 형태(함수, 규칙, 그래프 모델 등)로 표현하는 목적을 가진 연구 분야입니다. 머신 러닝은 여러 분야에 걸친 학문입니다. 예륵 들어 Artificial Intelligence, Probability and Statistics, Computational Complexity Theory, Control Theory, Information Theory, Philosophy, Psychology, Neurobiology 등이 있습니다. 머신 러닝이란 공학에서 y = f(x)가 주어진다면, 머신 러닝에서는 주어진 데이터로부터 함수 f를 찾는 것입니다. y는 출력 변수로 반응 변수, 종속 변수로 불리기도 합니다. ..

스마트 팩토리 스마트 팩토리는 공정 중 관측된 센서 값, 공정 후 측정된 계측 값 등 제조 빅데이터를 활용한 제품 및 설비를 운용 관리하는 공장을 의미합니다. Product Design, Elment Development DoE(Design of Experiment), Machine learning 기법을 이용하여 통계 기반의 개발을 수행합니다. FDC(Fault Detection and Classification) 데이터를 활용하여 제품의 불량 유무를 예측합니다. 후공정에 정상 제품만을 전달합니다. VM (Virtual Metrology) 공정의 전수 조사가 불가능한 상황에서 가상의 계측 값을 추정합니다. CA (Causality Analysis) 공정의 불량 유무에 관한 인과 관계를 분석하여 불량의 ..

이번 과제에서는 두 distribution p(x)와 q(x)의 KL divergence는 로 정의됩니다. 두 distribution p(x)와 q(x)을 라고 가정할 때, 가 되는 것을 증명해야 합니다. 우선 공식은 위와 같습니다. 뒷 수식 부터 우선 적분을 진행합니다. 따라서, 다음과 같이 쓸 수 있습니다. 그리고 위와 같이 분리할 수 있습니다. 다음과 같이 정리할 수 있습니다. 그 다음, 수식을 위와 같이 나누어 줍니다. ⟨⟩를 p 아래의 기대 연산자로 표시하면 다음과 같이 다시 작성할 수 있습니다. var(x) = - 이므로 위 식으로 정리할 수 있습니다. 따라서 식에 넣어 위와 같이 표현할 수 있습니다. 정리한 내용을 종합하면 값을 넣어주면 아래와 같은 식을 얻을 수 있습니다. KL Diverg..

Thread 지원 라이브러리 C++에서의 쓰레딩 라이브러리 사용법에 초점을 맞추어 포스팅을 진행합니다. 특히, 쓰레드, 뮤텍스, 조건 변수 등을 활용해보도록 하겠습니다. std::thread c++11 이전의 멀티쓰레딩을 구현하기 위해서는 윈도우 쓰레드, POSIX 쓰레드를 사용했습니다. 그래서 OS 마다 구현을 달리해야만 했고, 불편함이 존재하였습니다. 결국, C++11 전까지는 표준 멀티 쓰레딩 라이브러리가 없었습니다. 리눅스와 유닉스 계열에서는 POSIX 쓰레드를 활용하였습니다. 윈도우는 따로 윈도우 쓰레드를 사용하였습니다. #include #include #include using namespace std; void PrintMessage(const string& message) { cout

Atlassian Crucible개발 팀 내에서 동료 코드 검토에 대한 정보를 유지하고 싶은 적이 있었나요? 소스 코드 저장소 내에서 변경 사항을 추적하기 위해 고심하고 있었나요? 변경한 사람, 변경 내용을 추적하고 피드백을 남기고 동기화된 방식으로 팀과 공동 작업 할 수있는 도구가 필요한 경우가 종종 있습니다. Atlassian Crucible은 이 모든 작업을 수행하며 Fisheye 및 Confluence와 같은 Atlassian 제품군의 다른 도구와 완벽하게 통합됩니다. Atlassian Crucible은?Atlassian Crucible은 엔터프라이즈 급 조직을 위해 설계된 웹 기반 코드 검토 소프트웨어입니다. Perforce, CVS, Subversion, Git 등과 통합됩니다. Crucibl..

최근 업무를 진행하면서 종종 DevOps에 대해 듣고는 하였습니다. 그 과정에서, 정확히 DevOps가 무엇인 지, 이해하지 못하고 있었고, Docker와 같은 하나의 신기술 정도로만 생각을 하였습니다. 하지만 이번 강좌를 통해서, 그 생각이 매우 틀렸다는 것을 알게 되었습니다. SW 개발해나가는 과정 역시 진화하고 있고, 떠오르는 개발 방법론이라는 것을 이해하게 되었습니다. 저도 모르게 평소에 실천했던 사례 중에 DevOps와 유사한 경험도 있다는 것을 알게 되었고, 또 잘못된 접근을 하고 있는 사례도 생각나게 되었습니다. 이 강좌는 오픈 소스를 통한 DevOps 환경을 이해할 수 있습니다. 또한, 가장 많이 활용되는 도구와 툴에 대해 공부할 수 있고, 그러한 툴을 활용해 개발,통합, 테스트, 배포, ..

End to End Test 엔드-투-엔드 테스트는 시스템이 외부 요구 사항을 충족시키고 전체 시스템을 끝까지 테스트하여 목표를 달성하는지 확인합니다. 다른 테스트와 달리 사용 중인 컴포넌트나 아키텍처와 관계없이 시스템이 전체적으로 비즈니스 목표를 충족하는지 확인하는 데 집중합니다. 이를 달성하기 위해 시스템은 블랙박스로 취급하여 GUI 및 서비스 API와 같은 공개 인터페이스를 통해 가능한 한 완벽하게 배포 된 시스템을 테스트합니다. 이런 종단 간 테스트를 통해 문제 영역에 대해 더 많이 알게 되면 서비스는 분할되거나 병합될 가능성이 있으며, 마이크로 서비스 아키텍처는 시간이 지남에 따라 발전할 수 있습니다. 하지만 테스트 범위가 훨씬 넓어 실패할 가능성이 매우 높습니다. UI 테스트 UI 테스트를 엔..

iOS 용 스위프트 나 Android 용 Java를 사용하지 않고 기본 앱을 빌드 할 수있는 프레임 워크가 등장하면서 크로스 플랫폼 모바일 앱을 개발하는 것이 요즘 유행하고 있습니다. React Native와 Flutter는 오늘날 수천 개의 모바일 앱을 구축하는 데 사용되는 가장 널리 사용되는 교차플랫폼 모바일 개발 프레임 워크입니다. React Native와 Flutter를 선택해야한다면 어느 것을 선택해야 할까요? 이 질문에 대한 정답은 없습니다. 이 질문에 대한 답변은 비즈니스 요구와 사용 사례에 따라 다릅니다. React Native와 Flutter는 모두 장단점을 가진 강력한 언어입니다. React Native와 Flutter는 하나의 코드베이스, 핫 리로드, 뛰어난 UI, 멋진 툴링 및 기본..

서비스 테스트 ‘서비스’라는 용어는 사람에 따라 의미가 모호할 수 있지만, 일반적으로 서비스 테스트라는 것은 UI 등 사용자 인터페이스를 우회해서 서비스들을 직접 테스트하는 것을 말합니다. 여러 서비스로 구성된 시스템 대상으로 단일 서비스만 테스트할 경우, 독립적으로 문제를 검증하기 위해 다른 서비스는 스텁으로 만들어서 테스트할 서비스의 범위를 제한하게 됩니다. 일부 작은 서비스 테스트는 빠르게 끝나겠지만, 실제 DB 또는 네트워크를 통해 테스트한다면 테스트 시간은 늘어날 것입니다. 단위 테스트보다 더 많은 범위를 다루므로 테스트 실패 시 문제의 원인을 찾기가 더 어려울 것입니다. 통합 테스트 서비스 테스트 중 하나인 통합 테스트는 화면의 박스 부분처럼 구성 요소 간의 네트워크 경로 및 상호 작용을 검증..

단위 테스트 트렌드 예전에는 UI 화면이나 장비 등의 필요한 기능을 조작하여 내용을 확인해서 테스트했으나, 현재는 작성한 프로그램을 테스트하기 위한 테스트용 프로그램을 작성후 실행시켜 확인합니다. 테스트용 프로그램을 만들기 보다는 UI 화면으로 테스트하는 것이 빠를 것 같지만, 테스트용 프로그램을 작성하게 되면 같은 내용의 테스트를 반복해서 자동으로 테스트할 수 있는 장점이 있습니다. JUnit 많이 사용 되는 JUnit은 단위 테스트 작성을 지원하는 xUnit 계열의 오픈소스 자바 프레임워크입니다. 여기서 xUnit은 단위 테스트 작성을 지원하는 여러 언어별 오픈소스 프레임워크를 말합니다. TDD 개념을 정립하고 애자일 방법론의 한 형태인 XP를 만든 켄트 벡과 GoF 패턴을 집대성한 에릭 감마에 의해..

단위 테스트 단위 테스트는 테스트 가능한 소프트웨어의 가장 작은 부분을 실행하여 예상대로 작동하는지 확인하는 것입니다. 즉, 시스템의 소스 코드 로직 등을 테스트로 점검하는 단계로 주로 소스 코드의 클래스나 메서드 단위의 기능이 정상적으로 동작하는지 검증합니다. 테스트 중인 단위가 작을수록 단위 테스트를 사용하여 동작을 표현하는 것이 쉬워지므로 단위의 분기 복잡성이 낮아집니다. 개발 단계에서 개발자 또는 개발팀 차원에서 직접 수행을 하여 자신이 코딩한 메서드나 클래스가 정상적으로 동작하는지를 테스트하는데, 주로 기능이 제대로 작동하는지를 점검합니다. 즉, 그 결과가 기대값과 일치하는지 확인하는 형태이며, 서비스 호출, 외부 파일/네트워크 연결 없이 서로 독립적으로 수행되어야 합니다. 단위 테스트는 버그를..

Digital Transforamation & Software Testing 오늘날 기업은 디지털 트랜스포메이션을 통해 초일류 기업으로 도약하려고 하고 있고, 소프트웨어는 그 중 필수적이고 중요한 부분이 되고 있습니다. 혁신의 속도를 빠르게 하려면 고품질의 소프트웨어를 보다 빨리 제공하고 제대로 동작하는지 확인할 수 있는 방법이 필요합니다. 그래서 소프트웨어 테스트가 중요한데, 개발된 소프트웨어가 요구사항대로 되었는지, 기능이 제대로 동작하는지, 안정적인지, 확장 가능한지 등 다양한 면에서 검증되어야 합니다. 테스트 자동화의 중요성 전통적으로 소프트웨어 테스트는 애플리케이션을 테스트 환경에 배포 후 사용자 인터페이스 또는 UI를 클릭해서 문제를 찾는 수동적인 방식으로 진행했습니다. 모든 변경 사항을 수동..

관심사의 분리 낮은 결합도, 높은 응집도를 가지게 하는 관심사의 분리 방법에 대해서 알아보겠습니다. 클래스 간 결합이 일어날 때 느슨하게 되어야 하는데, 그렇지 못할 경우 시간이 지남에 따라 왜 문제가 되는지 살펴보겠습니다. 웹 어플리케이션의 비즈니스 로직 계층에 멤버 정보를 처리하는 Service 클래스가 있다고 가정하겠습니다. 처음에는 멤버 정보 조회, 존재 여부 확인, 정보 변경을 처리하는 세 가지 기능으로 이루어진 Service 클래스입니다. 이 클래스를 서비스 발행 계층에서 front end 등 외부에 REST API로 노출하는 방식은 시간이 지나서 알림의 종류를 받고, 등록 및 해지하는 새 요구사항을 받게 되어 화면처럼 관련 메서드가 새로 추가하게 되었습니다. 서비스 발행 계층에서 추가된 메서..

클래스 추출 처음에 해당 클래스가 담당할 책임이 정확히 무엇인지 관련 기능을 포함하는 클래스를 생각해야 합니다. 이는 단일 책임 원칙을 준수하는 데 중요하고, 단일 책임 클래스는 안정적이고 변경에 좀 더 유연합니다. 물론 과도하게 리팩토링하는 것은 아닌지 항상 주의해야 합니다. 기존 코드를 복사해 쓰는 건 훨씬 빠르게 느껴지지만 이렇게 복사한 코드는 중복이기 때문에 곧 문제가 되고, 모든 소프트웨어의 가장 심각한 문제로 발전하게 됩니다. 상위 클래스로 추출 두 개 이상의 클래스들 중에 공통적인 소스가 있을 경우 공통적으로 사용하게 추출할 수 있습니다. MinorMember와 SeniorMember 클래스에서 공통적으로 멤버 ID로 DB 쿠폰을 조회 후 그 중 현재 기준으로 사용가능한 쿠폰을 설정 후 개별..

설명변수로 변환 설명변수로 변환하는 방법에 대해서 알아보겠습니다. if문 등 조건문의 복잡한 표현을 나누는 가장 쉬운 방법은 작게 분리한 설명 변수를 사용하는 방법이 있습니다. 제어 플래그 삭제 상태를 기록하고 처리 흐름을 제어하기 위한 boolean type 변수를 제어 플래그라고 합니다. 이 제어 플래그를 지나치게 사용하면 처리 흐름을 파악하기 어려워져서 전체를 파악하기 어렵습니다. 그럴 경우 break, continue, return 등을 사용해 조건문의 의미와 제어 흐름을 명확하게 합니다. 플래그명도 flag, state보다는 found, initialized, debug, error, done, aborted, interrupted 등의 이름이 더 좋습니다. 배열을 객체로 변환하는 방법에 대해서..

리팩토링 개념과 필요성 유명한 프로그래머 Kent Beck과 architect Martin Fowler는 소프트웨어 코드 안에서 나오는 여러 문제에 대해 Code Smell이라는 용어를 사용하였습니다. 즉, 코드가 시간이 지나면서 요구사항과 기능들이 추가되면서 추상화, 모듈화, 캡슐화가 되지 않고, 높은 결합성, 낮은 응집성, 낮은 가독성으로 이루어진 코드로 변하면서 점점 유지, 보수 및 확장이 어려운 어플리케이션이 되어가는 상태를 말합니다. 그런 코드를 대상으로 리팩토링이 필요한데, 여기서 코드 리팩토링이란 기존 코드를 재구성하여 외부동작을 변경하지 않고 내부구조를 변경하는 체계적 코딩 기술을 말합니다. 코드 리팩토링을 잘 수행하면 소스 코드의 로직을 단순화하고 불필요한 수준의 복잡성을 제거하게 됩니다..

소나큐브 사용 방법 우선 먼저 소나큐브 구동을 살펴보도록 하겠습니다. 소나큐브 사이트에서 배포 파일을 다운로드 후 설정 파일을 개발환경에 맞는 IP, 포트, 콘텍스트 등의 정보를 수정 후 소나 서비스를 실행합니다. 필요에 따라 이클립스 마켓 플레이스에서 제공하는 플러그인을 추가로 설치 가능합니다. 주요 플러그인으로는 파인드버그, 파인드 시큐리티 버그, PMD, 소나 HTML 등이 있습니다. 로그인 후 탑 메뉴를 통해 소나큐브의 기능을 사용할 수 있습니다. 프로젝트 메뉴는 소나큐브에서 관리하는 프로젝트 목록을 확인할 수 있습니다. 개별 프로젝트명을 클릭 후 나오는 오버뷰 화면은 분석 결과의 전체적인 내용을 요약해서 보여줍니다. 이슈 화면은 현재 프로젝트에서 활동 사항을 보여줍니다. 좌측의 필터 기능 사용 ..

SonaQube 특징 여러 분석 툴을 종합하여 여러 항목들을 한번에 검사한 후 웹페이지에서 분석 결과들을 손쉽게 확인 가능합니다. 또한 각종 플러그인을 이용하여 다양한 기능을 제공합니다. 실행하려면 JDK8 이상, 최소 2기가 이상의 램과 운영체제 실행을 위한 1기가의 여유 램, 분석을 위한 저장공간이 필요합니다. 클라우드 지향형 소나 클라우드, IDA 확장 플러그인 형태인 소나린트도 있어 다양한 품질 문제를 감지하고 수정할 수 있습니다.커뮤니티부터 데이터 센터까지 다양한 에디션으로 구성되어 있고, 그 중 커뮤니티 에디션은 무료로 제공되고, 그 외 에디션은 연간 instance당 코드라인 수로 가격이 책정되고 다양한 기능들이 더 추가되어 있습니다. SonaQube 구조 소나큐브 플랫폼을 구성하여 4요소에..