Small Asteroid Blog

langfuse 애플리케이션의 실행 흐름을 추적하고, LLM 호출, 일반 함수 실행, 오류 발생 등 시각적으로 분석해 디버깅을 돕는 도구이다. 용어 정리Trace (트레이스) 단일 요청 또는 전체 작업을 나타내는 단위 사용자의 요청 하나 또는 API 호출 하나에 해당하며, 그 안에서 발생하는 observation을 포함하는 최상위 컨테이너전체 흐흠의 입력,출력 및 메타데이터(사용자 ID, 세션 ID, 태그 등) 를 담을 수 있음 사용자 또는 시스템의 하나의 전체 상호작용을 추적하는 단위 여러개의 span, step, generations 등이 포함됨 observation (관찰)trace 안의 개별 작업 단위 사용자가 수집한 메타 정보 또는 LLM 실행 외의 데이터 (ex. 로그, 사용자 행동) 사..

Could not parse response content as the length limit was reached. OpenAI 기반 Langfuse 로그 처리 중 토큰 수 초과로 응답을 파싱하지 못했다는 오류입니다. Langfuse는 OpenAI 응답을 내부적으로 저장하고 추적하는데, 이 과정에서 응답이 너무 크면 해당 응답을 파싱하지 못해 WARNING 또는 ERROR를 띄웁니다. 해결 방법프롬프트 토큰 수 줄이기prompt_tokens=4795 → 너무 김요약하거나 불필요한 문장을 제거하기캐시된 토큰이 2432개(cached_tokens=2432)라면, 이 부분도 중복 사용 여부를 확인하기긴 컨텍스트 분할길게 이어지는 문장을 나누어 요청하거나, 여러 번 나눠서 모델에 보내기ex) 하나의 docu..

LLM 프롬프트 최적화 방법LLM에게 명확하고 유용한 정보를 제공하면 더 정확하고 원하는 응답을 받을 수 있다.특히 system과 user 영역을 구분해 작성하는 것이 중요하다. ⚙️ System 메시지: 역할, 톤, 제약 조건 설정System 메시지는 모델이 어떻게 행동해야 하는지를 설정하는 부분이다.다음과 같은 내용을 지정할 수 있다.어떤 전문가처럼 말할지답변 형식은 어떤지반드시 지켜야 할 제약 사항예시You are a helpful and precise technical writing assistant. Always reply concisely, use markdown formatting, and include code examples if possible. Do not include unneces..

LangfuseLangfuse는 대규모 언어 모델(LLM) 기반 애플리케이션의 디버깅, 분석 및 개선을 지원하는 오픈 소스 엔지니어링 플랫폼입니다.이 도구는 복잡한 로그와 실행 흐름을 시각적으로 탐색하고 디버깅할 수 있는 관측 기능과, 비용, 지연 시간, 응답 품질 등의 주요 지표를 측정하고 개선할 수 있는 분석 기능을 제공합니다. ​ 또한, Langfuse는 프롬프트 관리를 통해 코드와 분리된 상태에서 프롬프트를 중앙에서 관리하고 버전 컨트롤할 수 있도록 지원합니다.이를 통해 애플리케이션 재배포 없이 프롬프트를 업데이트할 수 있으며, 다양한 버전의 성능을 비교하고 롤백할 수 있습니다. ​ Langfuse는 Python, JavaScript/TypeScript 등의 SDK를 제공하며, OpenAI SDK..

OpenAI Function Calls 란OpenAI 의 새로운 API 기능으로 모델이 특정 기능을 직접 호출할 수 있도록 지원하는 기능이다. 기존의 단순 텍스트 기반 응답 방식과는 달리 OpenAI 모델이 함수를 자동으로 호출하고 실행할 수 있도록 설계되어 있다.  기존 방식과 차이점 기존 API 방식OpenAI Function Calls모델이 텍스트 응답만 생성모델이 직접 함수 호출 가능API 응답을 받아 추가 처리 필요모델이 필요한 함수 실행 후 결과 반환단순한 Q&A 형태동적 기능 추가 가능 (API 호출, 데이터 변환 등) Function Calls 처리 프로세스프롬프트로 질문 입력 후 OpenAI API 호출 OpenAI 모델이 사용자의 요청 분석 Function Calls 를 사용해 적잘한 ..

Hugging Face허깅페이스는 AI 나 NLP(자연어 처리) 모델을 쉽게 활용할 수 있도록 하는 오픈소스 플랫폼이자 커뮤니티이다.트랜스포머나 데이터셋 같은 머신러닝 라이브러리를 제공하고 딥러닝 모델을 쉽고 빠르게 학습하고 배포할 수 있도록 도와주는 다양한 도구와 라이브러리를 제공하는 머신러닝계의 깃허브이다. API 형태로 모델을 배포해서 MLOPs 와 연계도 가능하다. https://huggingface.co/ Models 모델 및 라이브러리를 찾을 수 있다. 다양한 테스크에 적용 가능하고 PyTorch 와 Tensorflow 를 지원한다. Datasets NLP 및 머신러닝을 위한 대규모 데이터셋을 제공하며 로드, 전처리, 스트리밍을 쉽게 할 수 있도록 도와준다. 활용 예시 from tran..