Small Asteroid Blog

v2에서 v3로 Python SDK를 업그레이드한 뒤 trace name (= root span / LangChain run_name)이 공란으로 기록되거나 observation level 1로만 보이는 현상에 대해 해결한 내용을 적어본다. 1. 문제가 나타나는 상황항목v2 (정상) v3 (문제)데코레이터@observe() 만 붙여도 함수명이 trace name 으로 표시됨동일 코드에서 trace 이름이 빈칸이나 LangGraph 등 기본값으로 표시Observation Level함수 안에서 하위 span 을 만들면 level 2/3 … 로 깊이 표현모든 호출이 level 1 하나로만 묶임UI Delay호출 직후 UI에 이름·구조 모두 표시처음엔 빈칸→ 몇 초 뒤 이름이 채워짐 2. 원인SDK v3 아..

Langfuse Evaluation의 human annotation과 LLM-as-a-judge는 평가 방식(즉, ground truth(우리가 정한 정답)를 수집하거나 평가하는 방법)을 가리킵니다. 1. Human Annotation📌 개념사람이 직접 데이터를 보고 옳고 그름(혹은 점수)을 매기는 방식즉, 사람이 “정답”을 결정함 (Ground Truth collection)모델의 응답이 적절했는지/적절하지 않았는지, 더 좋은 답이 무엇인지 등에 대해 사람이 수작업으로 레이블링 진행📌 언제 쓰나정확하고 확실한 정답이 필요한 경우.테스트셋을 구축할 때 가장 많이 쓰이는 방식.특히 정성적인 평가나 도메인 지식이 필요한 경우 사람이 필요함📌 Langfuse에서 사용법✅ 준비데이터셋(test set)을..