Gemini 파일 검색 api로 간단한 RAG 적용하기

회사에서 가끔 개발 외적으로 생기는 일들을 적어놓는 습관이 있다. 

모든지 새로 경험하는 일이다보니, 깨달았다 싶은 내용이 다른 분야에서는 기본이 되는 내용일 때가 많았다.

부족함을 많이 느끼며 적어 나가는 요즘이다.  

 

그러다 문득 이런 생각이 들었다.

 

먼 미래에 나처럼 시행착오를 겪을 누군가를 위해,
회사 내 형태가 없는 정보들을 문서화해서 AI에게 학습시키면
회사에 잘 적응할 수 있게 도와주지 않을까? 

 

아래 같은 식이다.

김부장님(가칭)은 도부장님과 사이가 매우 안좋다. 특히 점심 메뉴 선정에 있어서는 ..

 

RAG를 적용해보면 어디까지 해결할 수 있을까?

때마침 gemini에서 file search api를 제공해주어, 복잡한 설정없이 RAG를 사용할 수 있게 되었다. 

일단 바로 뛰어들어보자. 

 

아래는 공부한 내용이다.

---

출처 : https://www.youtube.com/watch?v=dTxi-derPeY

특징

• 간단한 RAG 시스템이 세팅되어 있음.
• 파일 점진적 추가/삭제 가능 (파일 삭제 시 해당 정보 지식베이스에서 즉시 삭제)
• 순위 재조정 (re-ranking) 자동 처리

사용 예시

• 데이터베이스에는 Firebase, 사용자 인증에는 go.clerk 사용한 예시 나옴.

비용

• 초기 임베딩 비용만 지불하면, 저장공간은 무료.
• 이후, LLM 컴텍스트에 포함되는 토큰에 대해서만 비용 지불.

파일 제공 방법

• 검색 저장소 설정 (벡터 저장소) :

 

도전 과제 : 직접 워크플로우가 보이는 아키텍처 그려보기.

(힌트 : 영상 2:36)

gemini File search 플랫폼

구성 요소 2가지

• 지식 베이스 생성 기능 : 사용자가 직접 커스터마이징 가능.
• 특정 지식베이스 바탕 대화 시작

활용 방법

• api 키가 필요함.
• advanced setting에서, 검색 전략 설정 가능

   로그아웃 했다가 다시 로그인해도 이전 대화 기록은 그대로 남음.

• 재로그인해도 대화 기록이 남아있음.
• 파일 검색 기능을 에이전트 도구로 전달하면 더 복잡한 에이전트 솔루션 만들기 가능.

저장소 크기

• 무료 등급 : 1GB
• Tier 1 : 10GB
• Tier 3 : 1TB

비즈니스나 조직에 유용한 기능

• go.clerk가 지원하는 멀티테넌트 아키텍처.

       go.clerk 계정 생성 후, 제공되는 프롬프트를 복사해

       Cursor와 같은 도구에 전달하기만 하면, 멀티테넌트 어플이 만들어짐.

• 개인 계정과 조직 계정 사이 자유 전환 가능
• 조직 생성 및 초대 가능.

끝맺음

• 검색, 생성, 검증을 더 세밀하게 제어해보고 싶다면, 맞춤형 솔루션 구축할 것.
• 베이스라인으로 설정해 어디까지 활용 가능한지 테스트하는 용도로 매우 좋을 것.

---

직접 해본 결과

 

테스트 문서는 300자 정도의 간단한 일기로 해봤다.

원하는 답변을 얻었다. ( 관련해 코드는 최대한 file search api docs를 사용했다. )

---

 

다음에는 더 큰 크기의 파일. LLM이 잘 읽는 md 파일을 가지고서 읽어봐야겠다.

p.s) 회사 사수분이 회사명이 LLM에서 출력되는 거 보고 싶다고 하셔서, 좀만 기다려보라고 해놨다. 히힣