shinetheworld01 님의 블로그

AgentLangChain 및 기타 LLM 애플리케이션에서 인공지능 시스템이 자율적이고 목표지향적으로 작업을 수행할 수 있게 해 주는 컴포넌트이다.주어진 목표를 달성하기 위해 환경과 상호작용하며 의사결정을 내리고 행동을 취하는 지능형 개체로 볼 수 있다. 주요 특징1. 자율성: 에이전트는 사전에 정의된 규칙이나 명시적인 프로그래밍 없이도 스스로 결정을 내리고 행동할 수 있다.2. 목표지향성: 특정 목표나 작업을 달성하기 위해 설계되어 있다.3. 환경 인식: 주변 환경이나 상황을 인식하고 이에 따라 적응할 수 있다.4. 도구 사용: 다양한 도구나 API를 활용해 작업을 수행할 수 있다.5. 연속성: 주어진 목표를 달성하기 위해 1회 수행이 아닌 반복 수행을 통해 목표 달성을 추구한다. LangChain에서..

RAG정보 검색과 생성을 통합하는 방법론.풍부한 정보를 담고 있는 대규모 문서 데이터베이스에서 관련 정보를 검색하고, 이를 통해 언어 모델이 더 정확하고 상세한 답변을 생성할 수 있게 한다.ex) 최신 뉴스 이벤트나 특정 분야의 전문 지식과 같은 주제에 대해 물어보면, RAG는 관련 문서를 찾아 그 내용을 바탕으로 답변을 구성한다. RAG의 8단계 프로세스사전 준비 단계 1. 도큐먼트 로드(Document Loader)외부 데이터 소스에서 필요한 문서를 로드하고 초기 처리를 진행공부하기 전에 필요한 책들을 책장에서 골라오는 것과 유사 2. 텍스트 분할(Text Splitter)로드된 문서를 처리 가능한 작은 단위로 분할큰 책을 챕터별로 나누는 것과 유사 3. 임베딩(Embedding)각 문서 또는 문서의..

머신러닝 모델 관련 도구와 리소스를 개발하는 최근 Hugging Face 에서 MiniMax-Text-01 을 공개했다. https://huggingface.co/MiniMaxAI/MiniMax-Text-01 MiniMaxAI/MiniMax-Text-01 · Hugging FaceMiniMax-Text-01 1. Introduction MiniMax-Text-01 is a powerful language model with 456 billion total parameters, of which 45.9 billion are activated per token. To better unlock the long context capabilities of the model, MiniMax-Text-01 adopt..

기본적으로 pytorch를 활용해 학습 모델을 생성해 왔는데,CV 실습을 하면서 h5 파일을 실행시켜 pretrained 모델을 사용했던 게 기억이 났다. h5도 모델 형식이었던 것 같은데... pth 파일과 어떤 차이가 있는지 궁금해져h5, pth를 포함한 각 파일별 특징과 차이점에 대해 알아보려고 한다. .h5일반적으로 Keras 모델을 저장하는 데 사용되는 확장자.HDF5 포맷으로 모델 및 가중치 데이터를 모두 저장. .pth / .pt일반적으로 Pytorch 모델을 저장하는 데 사용되는 확장자..pth와 .pt 파일 확장자는 파일 형식이나 내용 면에서 별 차이가 없어서 일반적으로 상호 교환해서 사용 가능하다. .pth는 가중치만을 저장하지만,.pt는 가중치 or 가중치 + 모델 구조를 포함해 저장..

딥러닝 기반 알고리즘Convolutional Neural Network (CNN)이미지 분류의 기본이 되어 컴퓨터 비전 문제에 널리 사용되는 딥러닝 모델이미지의 공간적 관계를 유지하며 특징을 추출하는 합성곱 레이어를 기반으로 작동 장점- 이미지의 공간적 관계와 패턴을 자동으로 학습해 피처 엔지니어링이 거의 필요 없음- 다양한 CNN 구조로 다양한 이미지 분류 문제에 맞는 선택 가능 단점- 훈련에 수천 개 이상의 이미지가 필요하며, 작은 데이터셋에서는 과적합 위험- 복잡한 CNN 구조는 높은 계산 비용과 GPU 리소스 필요- 필터 크기, 레이어 수 등 하이퍼 파라미터 튜닝의 복잡성은 존재 관련 모델LeNet-5: 손글씨 인식 (MNIST)AlexNet: GPU 2대를 이용해 빠른 연산이 가능해져 병렬적인..