Small Asteroid Blog

요즘 LLM을 활용한 작업이 많아지면서 자연스레 API 사용량도 늘어나고 있습니다.특히 Claude, Gemini, GPT-4 등을 CLI(Command Line Interface)로 연결해서 쓰는 경우, 유용성은 높지만 토큰 비용도 만만치 않습니다.이 글에서는 Claude CLI와 Gemini CLI를 함께 사용하여 효율적으로 토큰을 아끼는 방법을 소개합니다. Claude 하나로만 작업하면 비효율적이다Claude는 context window가 넓고 품질도 매우 높지만, 처음부터 모든 작업을 맡기면 비용이 많이 나옵니다. 특히 긴 입력 데이터를 그대로 Claude에 넘기면 다음과 같은 문제가 발생합니다:토큰 수가 많아져 비용이 높아짐전처리 없이 Claude에게 맡기면 비효율적 결과도 나올 수 있음따라서 ..

v2에서 v3로 Python SDK를 업그레이드한 뒤 trace name (= root span / LangChain run_name)이 공란으로 기록되거나 observation level 1로만 보이는 현상에 대해 해결한 내용을 적어본다. 1. 문제가 나타나는 상황항목v2 (정상) v3 (문제)데코레이터@observe() 만 붙여도 함수명이 trace name 으로 표시됨동일 코드에서 trace 이름이 빈칸이나 LangGraph 등 기본값으로 표시Observation Level함수 안에서 하위 span 을 만들면 level 2/3 … 로 깊이 표현모든 호출이 level 1 하나로만 묶임UI Delay호출 직후 UI에 이름·구조 모두 표시처음엔 빈칸→ 몇 초 뒤 이름이 채워짐 2. 원인SDK v3 아..

Langfuse Evaluation의 human annotation과 LLM-as-a-judge는 평가 방식(즉, ground truth(우리가 정한 정답)를 수집하거나 평가하는 방법)을 가리킵니다. 1. Human Annotation📌 개념사람이 직접 데이터를 보고 옳고 그름(혹은 점수)을 매기는 방식즉, 사람이 “정답”을 결정함 (Ground Truth collection)모델의 응답이 적절했는지/적절하지 않았는지, 더 좋은 답이 무엇인지 등에 대해 사람이 수작업으로 레이블링 진행📌 언제 쓰나정확하고 확실한 정답이 필요한 경우.테스트셋을 구축할 때 가장 많이 쓰이는 방식.특히 정성적인 평가나 도메인 지식이 필요한 경우 사람이 필요함📌 Langfuse에서 사용법✅ 준비데이터셋(test set)을..

📌 Hugging Face란?Hugging Face는 AI 모델 개발자들이 사용하는 대표적인 플랫폼이다.“AI의 GitHub” 같은 느낌이라고 생각하면 된다.기능설명모델 공유오픈소스 AI 모델을 업로드하고, 다른 사람의 모델을 다운받아 쓸 수 있음모델 실행웹에서 바로 모델을 실행(test)해보거나, 코드로 불러와서 사용할 수 있음 📌 Hugging Face에서 자주 나오는 용어용어뜻설명Model모델학습된 AI 프로그램 (예: Qwen, Llama, GPT 등)Dataset데이터셋모델을 훈련시킬 때 사용한 텍스트나 이미지 모음Space스페이스모델을 실행할 수 있는 작은 웹앱 (Streamlit, Gradio로 많이 만듦)Transformers트랜스포머Hugging Face가 만든 대표적인 NLP 라..

LLM 애플리케이션의 필수 도구, Langfuse를 사용해 프로덕션 데이터를 안정적으로 추적하고 있는데 트래픽이 몰리기 시작하면서 queue is full이라는 경고 메시지와 마주치게 되었습니다. 🔥 Queue is Full이 왜 발생하나?[WARNING] Langfuse queue is full, dropping events...이 에러가 뜨는 이유는 이벤트 생성 속도가 Langfuse 서버로 전송하는 속도보다 빠르기 때문입니다. Queue Full 발생 메커니즘애플리케이션에서 발생하는 모든 이벤트(트레이스, 스팬 등)는 먼저 Langfuse SDK 내부의 임시 저장소인 큐(Queue)에 쌓입니다.SDK는 이 큐에 모인 데이터를 주기적으로 서버에 일괄 전송(flush)하는 방식으로 동작합니다.문제 ..

gpt 를 사용하지 않는 개발자는 적어지고 있다. 그럼 gpt 를 어떻게 효율적으로 사용하는것이 좋은지, 프롬프트를 어떻게 잘 작성해서 결과를 얻을까에 대해서 고민하게 되는것 같다. 이러한 고민을 하는 중에 "Claude 4 프롬프트 엔지니어링 모범 사례" 해당 내용을 공유 받았다. 아래 3가지 주제와 상세 내용으로 구성되어 있으며 자세한 내용은 아래 사이트에서 참고해서 보면 좋을 것 같다! 1. 일반 원칙명확한 지시 사항 제공하기 성능 향상을 위한 맥락 추가하기 예시와 세부 사항에 주의하기2. 특정 상황에 대한 지침 응답 형식 제어하기 사고 및 교차 사고 능력 활용하기병렬 도구 호출 최적화하기 에이전트 코딩에서 파일 생성 줄이기 시각적 및 프론트엔드 코드 생성 향상하기 3. 마이그레이션 고려 사..