LLM 스트리밍 응답 서버 설계: SSE·백프레셔·타임아웃
LLM 응답을 한 번에 받아서 보여주면 사용자는 몇 초씩 빈 화면을 바라봐야 합니다. 토큰이 생성되는 대로 흘려보내는 스트리밍은 체감 지연을 극적으로 줄여주지만, 서버 입장에서는 완전히 다른 난이도…
5 min read
</>
deploying knowledge · v1.0
서버·CI/CD·AI를
서버·CI/CD·AI를
실전으로 최적화하는 노트
서버·CI/CD·AI 개발 최적화 실전 노트 — 파이프라인, 인프라, 모델 서빙까지 현장에서 검증한 방법만 기록합니다.
47Articles
3Categories
Daily10:00 KST
// latest
더 보기최신 글
쿠버네티스 HPA/VPA 오토스케일링 실전 튜닝
쿠버네티스에서 오토스케일링은 “켜두면 알아서 잘 되는” 기능이 아닙니다. 기본값으로 HPA를 붙여놓고 트래픽 급증을 맞으면, 파드가 늦게 뜨거나 우르르 떴다가 다시 죽는 플래핑(flapping)을 …
5 min read
배포 롤백 전략: 안전하게 되돌리는 자동화 설계
배포는 새 기능을 세상에 내보내는 순간이지만, 동시에 장애가 가장 많이 발생하는 순간이기도 합니다. 아무리 테스트를 촘촘히 짜도 프로덕션 트래픽과 실데이터 앞에서는 예상치 못한 문제가 튀어나옵니다.…
5 min read
TLS 인증서 자동화: cert-manager·Let’s Encrypt 운영
TLS 인증서를 수동으로 관리하던 시절의 악몽은 대개 하나로 요약됩니다. “인증서가 만료됐는데 아무도 몰랐다.” 갱신 담당자가 퇴사했거나, 캘린더 알림을 놓쳤거나, 갱신은 했는데 배포를 잊은 채 서…
5 min read
임베딩 모델 선택과 파인튜닝: 검색 품질 끌어올리기
검색 품질이 기대에 못 미칠 때, 많은 팀이 곧바로 더 큰 LLM이나 복잡한 리랭커부터 생각합니다. 하지만 시맨틱 검색과 RAG의 품질은 대부분 임베딩 모델 에서 결정됩니다. 어떤 임베딩을 쓰느냐,…
6 min read
PostgreSQL VACUUM·오토배큠 튜닝: 테이블 부풀림과 트랜잭션 ID 소진 막기
디스크 사용량이 이유 없이 계속 늘어난다. 데이터는 몇 달째 비슷한 규모인데 테이블 물리 크기만 부풀어 오르고, 어제까지 멀쩡하던 조회 쿼리가 점점 느려진다. 로그를 뒤져 보면 autovacuum …
9 min read
서비스 메시 도입 판단 기준: Istio·Linkerd
서비스 메시는 마이크로서비스 사이의 통신을 애플리케이션 코드 밖으로 빼내어, 트래픽 관리·보안·관측성을 인프라 계층에서 일관되게 처리하는 기술입니다. mTLS 자동 암호화, 재시도와 서킷 브레이커,…
5 min read
// cicd
더 보기CI/CD & DevOps
배포 롤백 전략: 안전하게 되돌리는 자동화 설계
배포는 새 기능을 세상에 내보내는 순간이지만, 동시에 장애가 가장 많이 발생하는 순간이기도 합니다. 아무리 테스트를 촘촘히 짜도 프로덕션 트래픽과 실데이터 앞에서는 예상치 못한 문제가 튀어나옵니다.…
5 min read
피처 플래그로 배포와 릴리스 분리하기
배포(deploy)와 릴리스(release)를 같은 것으로 취급하면, 코드를 프로덕션에 올리는 순간이 곧 사용자에게 기능이 노출되는 순간이 됩니다. 이 결합은 릴리스 타이밍을 배포 파이프라인에 묶어…
5 min read
컨테이너 이미지 빌드 가속: BuildKit·캐시 마운트 실전
CI 파이프라인에서 가장 자주 손보게 되는 곳이 컨테이너 이미지 빌드입니다. 매번 몇 분씩 걸리는 docker build 는 개발 피드백 루프를 갉아먹고, CI 청구서도 불립니다. 다행히 Docke…
5 min read
// ai-optimization
더 보기AI 개발 최적화
LLM 스트리밍 응답 서버 설계: SSE·백프레셔·타임아웃
LLM 응답을 한 번에 받아서 보여주면 사용자는 몇 초씩 빈 화면을 바라봐야 합니다. 토큰이 생성되는 대로 흘려보내는 스트리밍은 체감 지연을 극적으로 줄여주지만, 서버 입장에서는 완전히 다른 난이도…
5 min read
임베딩 모델 선택과 파인튜닝: 검색 품질 끌어올리기
검색 품질이 기대에 못 미칠 때, 많은 팀이 곧바로 더 큰 LLM이나 복잡한 리랭커부터 생각합니다. 하지만 시맨틱 검색과 RAG의 품질은 대부분 임베딩 모델 에서 결정됩니다. 어떤 임베딩을 쓰느냐,…
6 min read
LLM 토큰 비용 최적화: 컨텍스트 압축·요약 캐시 전략
LLM API를 프로덕션에 붙이고 나면 곧 청구서가 눈에 들어옵니다. 토큰 단가는 낮아 보여도, 긴 시스템 프롬프트와 누적되는 대화 기록, RAG로 밀어 넣는 문서 청크가 합쳐지면 요청당 토큰 수가…
5 min read
// infra
더 보기서버 & 인프라
쿠버네티스 HPA/VPA 오토스케일링 실전 튜닝
쿠버네티스에서 오토스케일링은 “켜두면 알아서 잘 되는” 기능이 아닙니다. 기본값으로 HPA를 붙여놓고 트래픽 급증을 맞으면, 파드가 늦게 뜨거나 우르르 떴다가 다시 죽는 플래핑(flapping)을 …
5 min read
TLS 인증서 자동화: cert-manager·Let’s Encrypt 운영
TLS 인증서를 수동으로 관리하던 시절의 악몽은 대개 하나로 요약됩니다. “인증서가 만료됐는데 아무도 몰랐다.” 갱신 담당자가 퇴사했거나, 캘린더 알림을 놓쳤거나, 갱신은 했는데 배포를 잊은 채 서…
5 min read
PostgreSQL VACUUM·오토배큠 튜닝: 테이블 부풀림과 트랜잭션 ID 소진 막기
디스크 사용량이 이유 없이 계속 늘어난다. 데이터는 몇 달째 비슷한 규모인데 테이블 물리 크기만 부풀어 오르고, 어제까지 멀쩡하던 조회 쿼리가 점점 느려진다. 로그를 뒤져 보면 autovacuum …
9 min read