문제를 다 읽고 나서 가장 먼저 해야 할 일은 코드를 치는 게 아니다. 제한 조건에 적힌 N의 최댓값을 보는 것이다. N이 1,000이면 이중 반복문을 마음 놓고 써도 되고, N이 100,000이면 이중 반복문은 그 자리에서 탈락이다. 이 판단을 코드 작성 전에 못 하면, 논리가 완벽한 풀이를 다 짜고 나서 시간 초과를 받고 처음부터 다시 시작하게 된다.이 글은 그 판단을 하기 위한 기준선 하나를 만드는 정리다. "1억 번 연산 ≈ 1초" 라는 숫자 하나만 손에 쥐면, 제한 시간과 입력 크기에서 허용 복잡도를 역산할 수 있다. 앞쪽 절반은 그 기준선을 세우는 데 쓰고, 뒤쪽 절반은 그 감각을 2차원 리스트 순회와 델타 탐색이라는 실제 코드로 잇는 데 쓴다. 격자 문제에서 삼중 반복문이 나왔을 때 "이게 ..

파이썬을 배운 지 얼마 안 됐더라도, 이런 코드는 이미 수십 번 썼을 것이다.'hello'.upper()[3, 1, 2].sort(){'a': 1}.keys()문자열 뒤에 점을 찍고 함수 같은 걸 부른다. 리스트도 딕셔너리도 똑같이 동작한다. 그런데 왜 upper(문자열) 이 아니라 문자열.upper() 인가? 그냥 파이썬 문법이 그런 것이라고 넘기기 쉽지만, 사실 이 점 하나에 클래스와 객체지향이 통째로 들어 있다.'hello'.upper() 는 파이썬 내부에서 str.upper('hello') 로 동작한다. str 이라는 클래스가 있고, upper 는 그 클래스의 함수이며, 'hello' 는 그 함수의 첫 번째 인자로 들어간다. 우리가 self 라고 부르는 그 자리다.이 글은 그 한 줄에서 출발해 클..

프로그래머스 「여행경로」를 풀었다. ICN에서 출발해 주어진 항공권을 전부 쓰는 경로를 찾는 문제다. DFS/BFS 분류에 있는 문제니까 DFS로 파고들다가 티켓이 남은 채 막히면 되돌아오게 짰고, 통과했다.그런데 코드에 used 배열이 있고, path.pop()이 있고, if dfs(next): return True가 있다. 되돌아가기 위한 장치가 셋이나 붙어 있다는 뜻이다. 이 문제가 정말 되돌아가야만 풀리는 문제인가.아니다. 모든 간선을 한 번씩 지나는 경로에는 이름이 있고, 그 경로는 조건만 맞으면 한 번 걸어가는 것만으로 완성된다. 되돌아갈 일이 원리적으로 생기지 않는다는 보장이 있기 때문이다. 이 글은 그 보장이 무엇이고 왜 성립하는지, 그리고 그걸 아는 것과 모르는 것이 실제로 몇 배 차이가..

"AI를 어디에 쓸까"로 시작한 프로젝트는 대체로 같은 길을 간다. 데이터를 모으고, 잘 알려진 모델을 얹고, 성능이 모자라면 모델을 키운다. 그런데 어떤 문제는 모델을 아무리 키워도 잘 안 풀리고, 어떤 문제는 질문을 한 번 바꾸는 것만으로 작은 모델에서도 풀린다.그 차이를 만드는 게 도메인 전문지식이다. 정확히 말하면 "이 분야의 전문가는 무엇을 보는가" 라는 질문이다. 전문가가 실제로 보는 것을 알아내면, 모델에 무엇을 넣어야 하는지도 어떤 구조가 맞는지도 따라 나온다.이 글은 적응적 센싱 편에서 이어진다.앞 글이 센서를 조절해 입력을 모델에 맞췄다면, 이 글은 한 발 더 나가서 문제 정의 자체를 도메인 지식으로 다시 짠다. 손대는 자리는 다르지만 목적은 같다 — 모델을 키우지 않고 푸는 법.수면의..

시력이 나빠서 칠판이 안 보이는 학생에게 해 줄 조언은 둘 중 하나다. "흐릿한 글씨를 5,000개쯤 읽어서 눈을 단련해라" 또는 "안경을 맞춰라." 사람에게 이 질문을 하면 아무도 첫 번째를 고르지 않는다. 그런데 지난 몇 년간 AI가 분포 이동에 대응해 온 방식은 정확히 첫 번째였다. 낯선 입력이 두려우니 세상의 데이터를 미리 다 삼켜 두자는 것 — 그게 초거대 AI 전략의 정체다.이 글은 그 전략의 청구서를 먼저 계산하고, 두 번째 답인 적응적 센싱(adaptive sensing) 으로 넘어가는 정리다. 모델을 키우는 대신 카메라를 조절한다. 뇌를 재훈련하는 대신 감각기관 쪽 입력을 고친다.이 글은 테스트 타임 도메인 적응 편에서 이어진다.앞 글과 이 글은 같은 문제에 대한 정반대의 답이다. 문제는..

모델을 다 만들고 나면 마지막에 검증 정확도를 확인한다. 97%가 나온다. 데이터를 잘 나눴고, 과적합도 없고, 학습 곡선도 깨끗하다. 그대로 배포한다.그리고 현장에서 68%가 나온다.코드는 그대로고 가중치도 그대로다. 바뀐 건 데이터뿐이다. 학습할 때는 스튜디오 조명 아래 선명한 사진이었는데, 현장에서 들어오는 건 저녁 무렵 흔들린 사진, 렌즈에 김이 서린 사진, 다른 회사 센서로 찍은 사진이다. 사람 눈에는 여전히 같은 대상이지만 모델이 보는 숫자의 분포는 다르다. 이 어긋남에 이름이 붙어 있다 — 분포 이동(distribution shift) 이다. 여기서 보통 떠올리는 답은 "현장 데이터를 모아서 라벨링하고 다시 학습한다"이다. 맞는 답이지만 비싸고 느리다. 라벨링에 몇 주가 걸리고, 그 사이에도..

가중치를 전부 INT8로 바꿨다. 파일 크기가 4분의 1이 됐다. 그런데 NPU가 달린 보드에 올려 보니 추론 시간이 거의 그대로다. 어떤 경우에는 오히려 느려진다. 그리고 에러 로그는 한 줄도 없다.이건 양자화를 잘못한 게 아니라 양자화를 절반만 한 것이다. 값을 정수로 바꾸는 일과 연산 과정을 정수로 바꾸는 일은 서로 다른 작업이고, 정수 전용 가속기가 요구하는 것은 후자다. 그리고 전자만 끝난 모델은 가속기에서 거부당하는 대신 조용히 CPU로 흘러간다. 실패가 실패처럼 보이지 않는다는 점이 이 문제를 어렵게 만든다.이 글은 리소스 효율적 AI 모델 편에서 이어진다. 그 글이 수 체계와 양자화의 기초를 다뤘다면, 이 글은 그렇게 만든 모델을 실제 가속기 위에 올렸을 때 생기는 문제를 다룬다.정리의 축..

"이 모델은 4비트로 양자화되어 있습니다." 요즘 모델 카드에서 흔히 보는 문장이다. 그런데 4비트로 줄인다는 게 정확히 무슨 일인지는 잘 설명되지 않는다. 32비트짜리 실수 하나를 4비트로 바꾼다는 것은 무엇을 버리는 일인가. 버린 만큼 정말 빨라지는가. 가중치를 절반이나 0으로 만들었는데 왜 GPU에서는 속도가 그대로인가.이 질문들에 답하려면 결국 한 층 아래로 내려가야 한다. 컴퓨터가 실수를 어떻게 담는가, 그리고 그 표현에 따라 덧셈과 곱셈 중 무엇이 더 비싼가. 이 두 가지를 모르면 경량화 기법들은 그냥 이름의 나열로 남는다. 반대로 알고 나면 "왜 이 기법은 GPU에서 이득이 나고 저 기법은 전용 가속기가 필요한가"가 한 줄로 정리된다.이 글은 그 아래층을 깔기 위한 정리다. 이진 수 체계에서..