Docker 이미지·컨테이너와 Compose
·
DE (Data Engineering)
같은 코드를 실행해도 컴퓨터마다 설치된 언어와 라이브러리 버전이 다르면 결과가 달라질 수 있다. Docker는 애플리케이션과 필요한 실행 환경을 이미지로 묶고, 이를 컨테이너로 실행해 환경 차이를 줄이는 도구다.컨테이너와 가상 머신은 어떻게 다를까?가상 머신은 일반적으로 하이퍼바이저 위에서 각 게스트 운영체제를 실행한다. 반면 리눅스 컨테이너는 호스트의 리눅스 커널을 공유하면서 프로세스와 파일 시스템 등을 격리한다. 그래서 별도의 게스트 OS 전체를 매번 실행하지 않고도 애플리케이션을 분리할 수 있다.공유하는 커널과 격리 방식이 다르므로 컨테이너를 가상 머신과 동일한 보안 경계로 가정하면 안 된다. 또한 macOS나 Windows의 Docker Desktop에서 Linux 컨테이너를 실행할 때는 Linu..
데이터 파이프라인과 리눅스
·
DE (Data Engineering)
데이터 분석은 파일을 한 번 읽어 계산하는 것으로 끝나지 않는다. 새로운 데이터가 계속 들어오면 수집, 정제, 저장과 분석을 반복할 수 있어야 한다. 이 흐름을 설계하는 것이 데이터 파이프라인이고, 리눅스는 그 작업을 실행하고 살펴보는 데 자주 사용하는 환경이다.데이터 파이프라인은 무엇을 연결할까?예를 들어 서비스의 주문 데이터와 접속 로그로 하루 매출을 집계한다고 해 보자. 주문은 데이터베이스에, 접속 기록은 로그 파일에 쌓인다. 둘을 필요한 주기로 수집하고, 시간대와 자료형을 맞추고, 분석할 수 있는 장소에 저장한 뒤 대시보드에 제공해야 한다.이 예시의 흐름은 수집 → 정제 → 저장 → 분석이다. 실제 파이프라인은 저장 후 변환하거나 여러 경로로 나뉠 수도 있다. 중요한 것은 단계 이름보다 각 단계의..
GPT-5.1-Codex-Max System Card
·
AI
GPT-5.1-Codex-Max 시스템 카드 읽기: 코딩 에이전트의 성능과 안전성은 어떻게 읽어야 할까?코딩 에이전트에 버그 수정을 맡기면 코드를 생성하는 것만으로 작업이 끝나지 않는다. 파일을 읽고, 수정하고, 명령을 실행하고, 테스트 결과를 해석해야 한다. 그 사이 사용자가 고친 내용도 지켜야 한다. 이런 시스템의 평가 점수는 무엇을 믿고 맡길 수 있는지 얼마나 알려 줄까?OpenAI의 GPT-5.1-Codex-Max System Card를 읽는 데 필요한 기준은 세 가지다. 무엇을 평가했는지, 무엇을 성공으로 셌는지, 어떤 환경에서 실행했는지를 함께 보는 것이다. 이 글은 표지에 2025년 11월 18일로 적힌 공식 시스템 카드 PDF를 기준으로 한다. 제품 설정과 위험 판단도 그 문서 시점의 설명..
논문리뷰 : Evaluating Large Language Models Trained on Code (Mark Chen et al., 2021)
·
AI
Codex 논문 읽기: AI가 만든 코드는 어떻게 평가할까?자연어 설명을 보고 Python 함수를 만드는 AI를 평가하려면 무엇을 확인해야 할까? 참조 코드와 비슷하게 썼는지보다 중요한 것은 요구한 동작을 실제로 수행하는지다. 그런데 후보를 여러 개 만들기 시작하면 질문이 하나 더 생긴다. 정답이 후보 안에 있기만 하면 되는가, 아니면 사용자에게 정답 하나를 골라 줘야 하는가?Mark Chen 등의 2021년 논문 Evaluating Large Language Models Trained on Code는 코드 학습, 실행 평가, 여러 후보의 생성과 선택을 연결해 이 문제를 다룬다. 이 글은 논문 v2를 기준으로 읽는다. 여기서 Codex는 당시 연구한 코드 생성 모델이다. 이후 같은 이름을 사용하는 코딩 ..
A/B 테스트: 사용자 배정부터 전환율 검정과 도입 판단까지
·
데이터분석&통계
새 결제 화면에서 구매율이 높게 나왔다는 사실만으로 화면 변경의 효과를 확정할 수는 없다. 사용자 구성이 달랐거나, 로그가 일부 빠졌거나, 작은 표본에서 우연히 큰 차이가 보였을 수 있다.A/B 테스트는 같은 기간의 사용자를 무작위로 나눠 기존 버전 A와 변경 버전 B를 비교하는 실험이다. 핵심은 비교 가능한 배정 → 일관된 관측 → 적절한 분석 단위 → 차이와 불확실성 → 도입 판단이다. 통계 기초의 표본·표준오차·가설 검정이 여기서 하나의 흐름으로 연결된다.1. 현황 분석과 실험은 답하는 질문이 다르다분석답하는 질문해석의 범위기술 통계현재 구매율은 얼마인가?관측된 현상을 요약한다.탐색적 분석(EDA)어떤 사용자·행동에서 구매율이 다른가?패턴과 가설을 찾는다. 연관만으로 원인을 확정하지 않는다.예측이 ..
데이터 분석을 위한 통계 기초: 평균·표본·분포에서 가설 검정까지
·
데이터분석&통계
평균 하나는 데이터를 요약하지만, 그 평균을 얼마나 믿을 수 있는지는 알려주지 않는다. 통계 분석에서는 중심과 퍼짐 → 표본이 모인 방식 → 분포 → 추정의 불확실성 → 검정을 함께 살펴봐야 한다.이 글은 대표값과 변이, 표본 추출과 편향, 정규분포와 중심극한정리, 신뢰구간과 가설 검정, 독립·대응 표본 t-검정을 연결한다. 다음 글에서는 이 개념들이 A/B 테스트에서 어떻게 쓰이는지 살펴본다.1. 대표값은 어떤 질문에 답하는가?온라인 주문의 배송 기간이 다음과 같다고 하자. 단위는 일이며 설명을 위해 만든 데이터다.2, 3, 3, 4, 5, 6, 40평균은 9일, 중앙값은 4일이다. 대부분은 2일부터 6일에 도착하지만 40일인 주문 하나가 평균을 끌어올렸다. 두 값 중 하나가 틀린 것이 아니라, 평균은..
JEV와 KEV 이해하기: 글을 생성하는 AI에서 결정을 내리는 AI로
·
AI
고객 문의를 담당 부서로 보내려면 긴 답변보다 ‘결제·계정·기술·기타 중 어디인가’라는 판단이 필요하다.JEV와 KEV는 이런 정해진 질문에 대한 결정을 모델의 중심 출력으로 다룬다.이 글은 2026년 10월 1일 공식 문서와 공개 저장소를 확인해 정리했다. 아래 입력과 확률 예시는 설명용이며, 모델을 호출하거나 성능을 측정한 결과는 아니다.1. JEV와 KEV는 어떤 관계인가?Jev는 TypeSafe가 제공하는 System One 모델이다. 자연어 상태를 읽고 정해진 형식의 결정과 확률을 반환한다. 자유로운 문장 작성이나 코드 생성에 쓰는 모델과 목적이 다르다. TypeSafe System One System One - TypeSafe AISystem One models make fast, struct..
OpenAI DevDay 2026 정리: GPT-6.1 Sol, dots, Space
·
AI
OpenAI DevDay 2026에서 눈에 띈 변화는 모델 성능뿐 아니라 AI가 일하는 환경이다. GPT-6.1 Sol은 실행 비용을, dots는 지속적인 업무를, Space는 결과물의 공유와 편집을 다룬다. 이 세 가지를 역할별로 이해하면 발표 목록을 외우는 것보다 실제 활용 방법이 선명해진다.이 글은 2026년 10월 1일 공식 발표·문서 확인 기준이다. 직접 사용한 후기나 성능 실측은 포함하지 않는다.1. 한국시간 9월 30일 새벽 2시, DevDay에서 발표한 것공식 행사명은 OpenAI DevDay 2026이다. 샌프란시스코에서 9월 29일 오전 10시에 시작한 키노트는 한국시간으로 9월 30일 오전 2시다. 당시 샌프란시스코는 서머타임을 적용해 한국과 16시간 차이가 난다. 공식 행사 일정 O..