세대 AI를 통합하는 시스템을 개발할 때 개발자의 관점에서 고려해야 할 사항을 요약한 것입니다
배경
최근 토토 베이적 AI 사용에 대한 수요가 증가함에 따라 CNN, Transformer 등 딥러닝 모델을 토토 베이적 AI 모델로 대체하려는 움직임이 가속화되고 있습니다기본적인 목적과 목표는 이를 토토 베이 AI 모델로 대체하여 정확도를 높이고 최종 사용자의 다양한 검색어에 해당하는 출력을 가능하게 하는 것이라고 생각합니다제너레이티브 AI 관련 기술을 실제로 연구하고 고려할 때 주의했던 점을 정리하고 싶습니다
시스템 설계 시 고려 사항
우리는 구체적인 입출력 데이터 형식, 처리할 데이터 규모, 개발 비용 및 토토 베이 AI를 사용하는 시스템을 만들라는 요청에 대한 응답 효과를 고려했습니다타겟이 누구인지, 언제까지, 얼마나 많은 돈이 지출될 것인지, 그리고 시스템이 얼마나 잘 작동할 것인지 정의하는 것은 어려웠습니다
세대 AI 활용 수단
토토 베이 AI를 통합하는 시스템을 개발할 때 우리가 고려한 세 가지 주요 사항이 있습니다
①개발 환경②대상 데이터의 크기③학습 방법
①개발 환경
우리는 온프레미스에서 실행할지 아니면 클라우드 서비스에서 실행할지 고려했습니다
온프레미스에서 실행하는 경우
머신 GPU의 메모리 용량을 고려한 모델을 선택하는 것이 중요합니다일반적으로 온프레미스에서 매개변수 크기가 7B 이상인 항목을 실행하려는 경우 24GB GPU 메모리를 갖춘 NVIDIA GeForce 3090에서 실행되는 것처럼 보입니다(작업이 검증되었기 때문에 추정된 값입니다)
클라우드에서 실행하는 경우
Amazon, Microsoft, Google 등 BigTech에서 제공하는 서비스 이용 요금 및 API 이용 요금을 고려해야 합니다처리할 데이터의 양이 늘어나거나 사용자 수가 늘어나는 경우 대략적인 사용 비용을 추정하고 온프레미스와 클라우드를 비교하는 것이 필요합니다
②대상 데이터
처리할 데이터의 유형과 양은 개발 환경과 토토 베이된 AI 모델의 선택에 큰 영향을 미칩니다PoC 개발에는 소규모 데이터를 사용하여 프로토타입을 만드는 작업이 포함되지만 대규모 데이터 작업을 고려하여 개발할 경우 클라우드 사용 요금이 더 높아집니다동영상 및 이미지 데이터를 처리할 때 해상도와 프레임 속도도 데이터 양과 직접적으로 연결됩니다또한 세대 AI에 입력되는 데이터가 일본어 도메인에 따라 달라지는 경우 일본어 및 다국어를 이해할 수 있는 모델을 선택해야 합니다토큰나이저로 토큰화할 때 영어보다 일본어의 토큰 수가 더 많은 것으로 유명합니다이미지, 차트 등 구조화되지 않은 데이터에 일본어 문자열이 많이 포함되어 있는 경우 일본어도 이해할 수 있는 모델이 권장됩니다
③학습 방법
토토 베이 AI를 사용하여 텍스트를 추론하고 토토 베이할 때 도메인 적합성을 고려했습니다그 경우신속한 엔지니어링네미세 조정、RAG
신속한 엔지니어링를 사용하면 토토 베이 AI 모델을 그대로 사용하고 지시 프롬프트 형식의 여러 예를 제공하는 퓨샷(Few Shot), 사고 체인(Chain-of-Thought) 등의 방법을 사용하여 정확도 향상을 기대할 수 있습니다토토 베이 AI 모델에 프롬프트가 제공되는 방식만 변경하면 되므로 개발 비용이 저렴하고 구현이 쉽습니다미세 조정과 달리 재학습은 특정 작업에 대해 구체적으로 수행되지 않으며 프롬프트에 제공된 예에 대한 일반적인 지식을 기반으로 답변이 토토 베이되므로 환각이 발생한다는 점에 유의하는 것이 중요합니다
미세 조정내부 데이터 등 사소한 지식에 대한 응답 성능을 향상시킬 수 있습니다이것은 고유한 데이터 또는 고유한 작업에 특화된 토토 베이 AI 모델을 만드는 데 사용되는 방법입니다기계 리소스, 기한 및 개발 리드 타임이 충분하다면 미세 조정을 선택하면 프롬프트를 고안하는 방법에 비해 도메인 적응을 통해 응답 성능이 향상됩니다미세 조정을 위한 개발 환경을 준비하는 데 드는 비용과 개발 비용이 높다는 점에 유의하십시오
RAG벡터를 데이터베이스에 한 번 저장하고, 매번 검색어와 데이터베이스의 벡터 간의 유사도를 계산하고, 데이터베이스의 검색 결과만을 기반으로 토토 베이 AI를 이용해 답변을 토토 베이하는 방식이다토토 베이 AI의 일반화 성능을 활용하면서 도메인 지식을 지원하기 때문에 환각을 일으킬 가능성이 적다는 장점이 있습니다회사 내에 축적된 방대한 리소스를 기반으로 토토 베이된 AI를 사용하여 답변을 토토 베이하는 데 자주 사용됩니다
최근 다양한 기업에서 토토 베이 AI를 도입하면RAG''을(를) 고려 중입니다우리는 대부분이 회사 내에 축적된 방대한 양의 데이터에서 검색어를 기반으로 특정 정보를 추출하려는 욕구에 기반을 두고 있다고 믿습니다
지금부터RAG에 사용된 토토 베이 AI 모델을 고려할 때 고려하고 고려한 내용을 요약하겠습니다
모델/데이터베이스 선택
RAG를 사용할 때 데이터베이스 토토 베이, 최종 사용자 검색 및 응답 토토 베이까지 전체 세부 흐름에 대한 그림을 작성하고 각 모듈에 어떤 모델을 사용할지 고려했습니다
이번에는 네 가지 유형의 모델과 데이터베이스를 고려했습니다
①VLM②LLM③임베딩 모델IVReranker⑤데이터베이스
①VLM
이미지 또는 비디오의 프레임 이미지를 입력하고 이미지 또는 비디오를 설명함으로써 토토 베이된 텍스트는 RAG에 메타데이터로 삽입됩니다일본어 관련 작업에서 상대적으로 높은 성능을 보이고 매개변수 크기가 8B 이하인 중소형 모델 중 "Qwen25-VL-7B-Instruct" 및 "Heron-NVILA-Lite-2B" 모델은 Heron-Bench, JVB-ItW, LLaVA-Bench 등 성능 평가 지표에서 정확도가 높았습니다지시 모델은 지시 응답 데이터를 사용하여 추가로 미세 조정된 원본 기본 모델이며 프롬프트에 더 잘 반응하는 경향이 있으며 몇 번의 샷에서 추가 인스턴스 없이 적절한 응답을 토토 베이할 가능성이 더 높습니다
②LLM
RAG의 LLM은 사용자 질문에 대한 답변을 토토 베이합니다일본어 응답을 기대한다면 llm-jp 리더보드를 사용하여 성과 평가 지수에서 선택하는 것이 좋습니다우리는 NLI(자연어 추론) 및 RC(독해)와 같은 작업에 대해 경량 모델 크기와 높은 정확도를 갖춘 모델이 사용자가 의도한 답변을 토토 베이할 가능성이 높은 모델을 추론할 수 있다고 믿습니다
③임베딩 모델
벡터 데이터를 RAG의 데이터베이스에 저장하기 전에 벡터 형식으로 변환하기 위한 모델입니다이미지와 비디오를 사용하는 RAG의 경우 다중 모드 임베딩 모델을 고려할 수 있습니다다중 모드 임베딩 모델을 고려할 때 MTEB 리더보드를 사용하고 "이미지-텍스트", "다중 언어" 등을 지정하여 작업에 적합한 모델을 선택하는 것이 좋습니다Zero-shot 분류 작업에서 정확도가 높고, 모델 매개변수 크기가 가벼우며, 입력 이미지 해상도가 작업과 일치하므로 선택하는 것이 좋습니다
IVReranker
우리는 RAG가 처음 얻은 검색 결과를 재평가하고 정확성을 높이기 위해 순위를 다시 매길 것입니다재순위를 지정하면 검색어가 문맥과 의미 측면에서 더 밀접하게 관련될수록 검색 점수가 더 높아집니다다국어 다중 모드 Reranker에는 Jina-reranker-m0 및 MonoQwen2-VL-v01이라는 두 가지 예가 있습니다두 모델 모두 작년에 발표되었으며 출시 연도는 2024년 11월 이후입니다또한 두 모델 모두 Qwen2-VL-2B-Instruct(다국어 호환 모델)를 사용하여 미세 조정되었다고 합니다향후 출시될 제품을 확인하시고 귀하의 조건에 맞는 최신 모델을 사용하시는 것이 좋을 것 같습니다
⑤데이터베이스
RAG는 벡터 데이터베이스를 데이터베이스로 사용합니다벡터 데이터베이스는 색인 토토 베이, 저장, 매우 유사한 벡터 검색과 같은 역할을 합니다구조적 데이터만 스키마로 처리하는 일반 데이터베이스에 비해 이미지, 오디오 등 구조화되지 않은 데이터도 처리할 수 있습니다시제품 개발 및 대규모 개발을 위해 다양한 벡터 데이터베이스를 사용할 수 있습니다이것은 OSS 벡터 데이터베이스이며 조정 도구인 Langchain 및 LlamaIndex와 같은 프레임워크와의 확장성과 높은 친화성을 기반으로 선택해야 합니다
요약
토토 베이 AI 모델을 활용한 시스템 개발에서 고려하고 고려한 내용을 요약했습니다토토 베이 AI를 시스템에 통합하는 것을 고려할 때 고려해야 할 사항이 많아서 어렵다고 느꼈습니다AI 세대를 위한 새로운 모델이 지속적으로 출시되므로 우리는 우리가 사용하는 모델을 정기적으로 업데이트하고 싶습니다
끝까지 읽어주셔서 감사합니다
