LLM 애플리케이션에서 workflow와 agent는 무엇이 다른가. 사람이 경로를 정하는 workflow, LLM이 스스로 경로를 정하는 agent, 그리고 그 사이에서 자유와 안전의 균형을 잡는 하네스(harness)를 철길·사거리·신호등 비유로 정리합니다.

MySQL 옵티마이저가 ORDER BY를 처리하는 세 가지 경로(인덱스 정렬, 드라이빙 테이블 정렬, 임시 테이블 정렬)와 Sort Buffer의 동작, 싱글 패스·투 패스 정렬 모드를 실무 관점에서 정리합니다.

지난 글에서는 ORCA의 두 핵심 아이디어인 iteration-level scheduling과 selective batching을 정리했습니다. 요청을 iteration 단위로 스케줄링하고, Attention만 개별 처리하고 나머지는 평탄화해 배칭하는 기법이었죠. 그런데 이 두 가지만으로는 실제 서비스가 되지 않습니다. GPT-3 175B 같은 모델은...

vLLM을 써보셨다면 “continuous batching” 혹은 “in-flight batching”이라는 말을 한 번쯤 들어보셨을 겁니다. 요청이 도중에 들어와도 배치에 끼워 넣고, 먼저 끝난 요청은 바로 반환하는 그 기능입니다. LLM 서빙의 처리량을 끌어올린 핵심 기법이지만, 이 아이디어의 원형은 vLLM이 아니라 2022년 OSDI에 발표된 ...

들어가며 인덱스를 걸면 쿼리가 빨라진다는 건 다들 압니다. 그런데 실제로 인덱스를 만들어놓고도 기대만큼 빨라지지 않는 경우를 종종 만납니다. 그 이유는 “인덱스를 탄다”는 말이 사실 한 가지가 아니기 때문입니다. MySQL이 인덱스를 읽는 방식은 여러 가지이고, 어떤 방식으로 읽느냐에 따라 성능 차이가 크게 납니다. 이 글에서는 인덱스 스캔 방식...

들어가며 GPU 한 장(A6000)에 모델을 여러 개 올려 서빙해본 적이 있습니다. 그때 계속 부딪힌 벽은 메모리였습니다. 동시 요청을 조금만 늘려도 GPU 메모리가 모자랐고, “분명 여유가 있는 것 같은데 왜 배치를 못 키우지?”라는 생각이 들었습니다. vLLM을 쓰면 같은 GPU에서 처리량이 크게 올라간다는 점은 경험으로 알고 있었습니다. 그런데...

문제 출처: https://school.programmers.co.kr/learn/courses/30/lessons/154539 이번 문제는 각 요소의 뒤에 있는 요소들 중에서 가장 가까운 큰 수를 찾는 문제입니다. 처음에는 다음과 같이 생각했습니다. 각 요소를 순회한다. 뒤 요소 중에서 값이 더 큰 요소가 있다면 answer 리스트에 추...

문제 출처: https://school.programmers.co.kr/learn/courses/30/lessons/299310 이번에는 최댓값, subquery에 관한 문제였습니다. 연도별 최대 개체크기와 각 대장균의 개체를 뺀 값을 연도별로 오름차순을 해야하는 문제였습니다. 그래서 저는 최댓값을 구하는 subquery와 각 대장균의 크기를 뺀 ...

문제 출처: https://school.programmers.co.kr/learn/courses/30/lessons/301647 제가 생각한 방법은 다음과 같습니다. ‘bit를 활용해야겠다.’ 그래서 부모의 형질과 자녀의 형질의 비트를 비트연산자로 하여 부모 형질이 나오게 하는 조건의 쿼리를 작성하였습니다. SELECT E.ID, E.GENOTYP...

들어가며 한 면접에서 MCP 관련 질문을 받았지만 MCP에 대한 개념을 몰라서 답변을 못 했습니다. “왜 나는 MCP를 잘 몰랐을까?” 이 글은 MCP에 대한 내용정리를 제가 이해한대로 정리한 글입니다. MCP란? MCP는 Model Context Protocol의 약자로 도구 연결 방식을 통일하는 표준 프로토콜입니다. 각 API 또는 함수들은...