- LLM의 환각 문제를 해결하고, 검색-증강 생성(RAG) 및 종합적 RAG(CRAG) 벤치마크를 진행해요 - 대규모 언어 모델(LLM)이 때때로 사실 정확성이 결여된 대답을 생성할 수 있어요. 연구에 따르면, GPT-4는 느리게 변화하는 또는 빠르게 변화하는 사실에 대한 질문에 대한 정확도가 15% 미만이며, 변하지 않는 사실에 대해 덜 인기 있는 개체를 언급하는 질문에 대한 정확도는 35% 미만이에요 - LLM의 지식 부족 문제를 완화하기 위한 유망한 솔루션으로, 질문에 대해 외부 소스를 검색하여 관련 정보를 검색한 후 근거가 있는 답변을 제공해요. RAG 시스템은 가장 관련성 높은 정보를 선택하고, 질문 응답 지연을 줄이며, 복잡한 질문에 답하기 위해 정보를 종합하는 등 여러 도전에 직면해 있어요 - CRAG는 다섯 가지 도메인 및 여덟 가지 질문 유형에 걸쳐 RAG 시스템을 평가하며, RAG 시스템을 평가하기 위한 실용적인 설정을 제공해요. CRAG에는 몇 초에서 수년에 걸쳐 변화하는 답변이 포함된 질문, 개체 인기도를 고려한 것뿐만 아니라 머리, 몸통, 꼬리 사실을 모두 포함하고, 간단한 사실 질문뿐만 아니라 비교, 집계, 세트 질문과 같은 7가지 유형의 복잡한 질문을 포함하여 RAG 솔루션의 추론 및 종합 능력을 테스트해요