기술의 급격히 변화하는 풍경 속에서, 생성적 AI는 혁명적인 힘으로 자리 잡고, 개발자와 AI/ML 엔지니어들이 복잡한 문제에 접근하고 혁신하는 방식을 변화시키고 있습니다. 본 기사는 생성적 AI의 세계에 대해 탐구하며, 모든 개발자에게 필수적인 프레임워크와 도구를 소개합니다.
LangChain
Harrison Chase가 개발하고 2022년 10월에 데뷔한 LangChain은 ChatGPT와 다양한 맞춤형 애플리케이션과 같은 LLM을 기반으로 하는 견고한 애플리케이션을 구축하기 위한 오픈 소스 플랫폼으로 설계되었습니다.
LangChain은 챗봇, 자동화된 질문 응답, 텍스트 요약 등 다양한 용도에 활용되는 LLM(Large Language Model)을 활용하는 데이터 엔지니어에게 포괄적인 툴킷을 제공하고자 합니다.
위 이미지는 LangChain이 정보를 처리하고 사용자 요청에 응답하는 방식을 보여줍니다. 먼저, 시스템은 방대한 데이터를 포함한 큰 문서로 시작합니다. 그런 다음 이 문서는 더 작고 관리하기 쉬운 조각들로 분해됩니다.
이러한 청크들은 이후 벡터에 임베드됩니다 — 이 과정은 데이터를 시스템에서 빠르고 효율적으로 검색할 수 있는 형식으로 변환합니다. 이러한 벡터들은 벡터 저장소에 저장되며, 이는 실질적으로 벡터화된 데이터를 처리하기 위해 최적화된 데이터베이스입니다.
사용자가 시스템에 프롬프트를 입력하면 LangChain은 이 벡터 저장소를 쿼리하여 사용자의 요청과 근접하거나 관련된 정보를 찾습니다. 시스템은 대규모 LLM을 사용하여 사용자의 프롬프트의 맥락과 의도를 이해하고, 이를 통해 벡터 저장소에서 적절한 정보를 검색합니다.