Small Asteroid Blog

OpenAI Function Calls 란OpenAI 의 새로운 API 기능으로 모델이 특정 기능을 직접 호출할 수 있도록 지원하는 기능이다. 기존의 단순 텍스트 기반 응답 방식과는 달리 OpenAI 모델이 함수를 자동으로 호출하고 실행할 수 있도록 설계되어 있다.  기존 방식과 차이점 기존 API 방식OpenAI Function Calls모델이 텍스트 응답만 생성모델이 직접 함수 호출 가능API 응답을 받아 추가 처리 필요모델이 필요한 함수 실행 후 결과 반환단순한 Q&A 형태동적 기능 추가 가능 (API 호출, 데이터 변환 등) Function Calls 처리 프로세스프롬프트로 질문 입력 후 OpenAI API 호출 OpenAI 모델이 사용자의 요청 분석 Function Calls 를 사용해 적잘한 ..

Hugging Face허깅페이스는 AI 나 NLP(자연어 처리) 모델을 쉽게 활용할 수 있도록 하는 오픈소스 플랫폼이자 커뮤니티이다.트랜스포머나 데이터셋 같은 머신러닝 라이브러리를 제공하고 딥러닝 모델을 쉽고 빠르게 학습하고 배포할 수 있도록 도와주는 다양한 도구와 라이브러리를 제공하는 머신러닝계의 깃허브이다. API 형태로 모델을 배포해서 MLOPs 와 연계도 가능하다. https://huggingface.co/  Models 모델 및 라이브러리를 찾을 수 있다. 다양한 테스크에 적용 가능하고 PyTorch 와 Tensorflow 를 지원한다.  Datasets NLP 및 머신러닝을 위한 대규모 데이터셋을 제공하며 로드, 전처리, 스트리밍을 쉽게 할 수 있도록 도와준다.   활용 예시 from tran..

로컬에서 하둡으로 파일을 복사 하려고 했는데 권한이 거절되면서 옮겨지지 않았다. 로컬에서 사용하는 권한과 하둡 해당 파일이 가지고 있는 권한이 다르기 때문에 생기는 오류였다. 빨간색으로 표시되어 있는부분이 write권한이 없는것으로 write권한이 없어서 파일 접근이 되지 않았던 것이다. 파일 권한 변경은 파일 소유자나 슈퍼 유저만 가능하다. 폴더에 모든 권한을 부여해주었다. hdfs dfs -chmod 777 [폴더명]

하둡이 설치된 경로로 가서 sbin 폴더 아래에서 start-yarn.sh, stop-yarn.sh 혹은 stop-all.sh 를 해주면된다. 처음부터 stop-all.sh을 하지 않는 이유는 master server에서 모든 노드의 HDFS/YARN 데몬을 분리하여 기동,중지를 권장하기 때문이다. 나의 경우 설치된 경로는 /home/hadoop/hadoop-2.7.7/sbin stop 을 했는데 no datanode to stop , no nodemanager to stop 이 나오면서 정지할 노드가 없다고 한다 jps를 통해 3가지만 남기고 다 지웁니다. kill 명령어를 통해 pid를 지우면 datanode가 지워진 것을 확인할 수 있습니다. kill -9 PID 나머지도 지워줍니다. 완료하면 ht..

pip 커널에 설치 후 python3 커널에 추가한다 pip3 install spylon-kernel python3 -m spylon_kernel install kernelspec 로 커널에 추가가 잘 되었는지 확인한다 jupyter kernelspec list

설치하고자 하는 hadoop과 spark의 버전을 확인한다. http://spark.apache.org/downloads.html 설치파일 다운하기 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop2.7.tgz 압축풀기 tar -zvf spark-3.1.2-bin-hadoop2.7.tgz 디렉토리 이름 변경하기 mv spark-3.1.2-bin-hadoop2.7.tgz/ spark python3와 jupyter로 pyspark를 실행하기 위한 설정 cp conf/spark-env.sh.template conf/spark-env.sh 파이썬에서 pyspark 사용하기 위해 설치 pip install pysp..