이전 글에서 설명했듯이 AI 모델은 스스로 인터넷을 검색하지 못합니다. 모델이 검색하게 하려면 web_search tool을 제공해야 하고, 그 tool 뒤에서 검색을 처리할 search provider를 정해야 합니다. 2026년 상반기 기준으로 search provider를 운영한 경험담이 인터넷에 거의 없어서 애를 먹었는데, 그 경험을 이 글에서 공유합니다.
- AI모델이 인터넷 검색을 사용하는 방법: https://malwareanalysis.tistory.com/955
production에서는 유료 search provider를 권장합니다
결론부터 말하면 production 서비스에는 유료 search provider를 권장합니다. 오픈소스 search provider는 상위 검색엔진의 봇 탐지에 차단되고, 차단을 피하려고 봇 방어를 우회하거나 웹을 직접 크롤링하면 소송 대상이 될 수 있습니다.
search provider 동작원리
동작원리는 크게 2종류입니다.
| 메타 검색 | 검색 요청을 받으면 Google 같은 검색엔진에 대신 검색하고 결과를 돌려준다 | SearXNG |
| 자체 인덱스 | 직접 크롤링해 만든 인덱스에서 결과를 돌려준다 | Google, Brave |
SearXNG 같은 메타 검색 오픈소스는 1시간에 50건 정도만 요청해도 상위 검색엔진의 봇 탐지에 걸립니다. production 서비스의 요청량은 이보다 훨씬 많으므로 메타 검색은 production에서 쓰기 어렵습니다. Google, Brave 같은 검색엔진은 직접 크롤링한 인덱스를 가지고 있고, 이 인덱스를 search provider로 쓰려면 API 요금을 냅니다. Brave Search API는 1,000건당 5달러를 받습니다.
만약, 검색엔진을 처음부터 만든다면 방법은 두 가지입니다. Google 같은 검색엔진의 봇 방어를 우회해 검색 결과를 긁거나, 검색엔진을 거치지 않고 웹을 직접 크롤링해 나만의 인덱스를 만듭니다. 중요한 건, 두 방법 모두 미국에서 소송이 진행 중입니다.
소송 사례
Google v. SerpApi 소송 사례
Google은 2025년 12월 19일 SerpApi를 캘리포니아 북부 연방지방법원에 고소했습니다(4:25-cv-10826). SerpApi는 Google 검색 결과를 긁어 API로 파는 회사입니다. Google은 SerpApi가 기기 정보와 위치를 속여 CAPTCHA와 봇 탐지 시스템 SearchGuard를 우회했다고 주장했습니다.
Perplexity 소송사례
웹 직접 크롤링으로는 Perplexity가 여러 건의 소송에 걸려 있습니다.
| Dow Jones, New York Post | 2024년 10월 | 기사 무단 복제 | 2025년 8월 Perplexity의 관할 기각·이송 신청이 받아들여지지 않음 |
| Encyclopaedia Britannica, Merriam-Webster | 2025년 9월 | 콘텐츠 무단 복제, 부정확한 답변에 자사 이름을 붙여 표시 | 찾지 못함 |
| 2025년 10월 22일 | SerpApi 등 스크래핑 업체를 통해 Google 검색 결과에 노출된 Reddit 콘텐츠를 수집 | 2026년 7월 31일 SerpApi의 기각 신청이 대부분 받아들여지지 않음 | |
| New York Times | 2025년 12월 5일 (S.D.N.Y. 1:25-cv-10106) | 기사 무단 복제, robots.txt 같은 기술적 보호 무시 | 2026년 3월 수정 소장 제출 |
검색엔진의 공식 검색 API는 종료되고 있습니다
search provider 대신 검색엔진의 공식 검색 API를 쓰는 방법도 있지만, 우연인지 이 API들이 종료되고 있습니다.
- Google Custom Search JSON API는 신규 가입을 받지 않고, 기존 고객도 2027년 1월 1일에 종료됩니다. 2026년 1월 20일 이후 만든 Programmable Search Engine은 검색 대상 사이트를 50개 도메인까지만 지정할 수 있습니다. Google이 후속으로 안내한 Vertex AI Search는 자기 데이터를 색인해 검색하는 제품이라 공개 웹 검색 결과를 대체하지 못합니다.
- Bing Search API는 2025년 8월 11일에 종료됐습니다.
마치며
search provider를 서비스에 적용하려면, 법적인 이슈를 피하기 위해 유료 search provider사용을 권장합니다. 유료 search provide도 약관마다 허용 범위가 다르므로 꼭 약관을 읽어보시길 바랍니다.
- 검색 결과를 LLM 프롬프트에 넣어 답변을 만들어도 되는지(inference 권리)
- 검색 결과를 저장하거나 캐시해도 되는지(storage 권리)
- 검색 결과로 모델을 학습하거나 fine-tuning해도 되는지
- provider가 자체 인덱스를 가졌는지, 다른 검색엔진 결과를 긁어 파는지
혼자 하는 사이드 프로젝트라면 SearXNG로 충분합니다.
| 혼자 하는 사이드 프로젝트 | SearXNG 가능 | 차단돼도 내 IP 하나만 영향받음 |
| 회사 내부 서비스, production 제품 | 자체 인덱스를 가진 유료 search provider | 차단이 장애가 되고, 우회와 크롤링은 소송 대상 |
| 자체 크롤러로 검색엔진 구현 | 법무 검토 후 결정 | 국내외 법 적용이 정리되지 않음 |
참고 자료
- SearXNG search 설정 문서
- Google sues data scraping company - Computerworld
- Google sues SerpApi over search scraping - PPC Land
- Google loses DMCA bid to treat search scraping like DVD piracy - PPC Land
- SerpApi asks judge to end Google’s scraping case - PPC Land
- Perplexity sued by Dow Jones and New York Post - Sherwood News
- Perplexity AI Can’t Escape Dow Jones Copyright Suit - Bloomberg Law
- Britannica and Merriam-Webster sue Perplexity - Courthouse News
- Reddit sues data scrapers and Perplexity - PPC Land
- NYT and Chicago Tribune filed first amended complaints - ChatGPT Is Eating the World
- CNN sues Perplexity AI - Tech Jacks Solutions
- Alternatives to the Google Search API before the 2027 shutdown - Brave
- Bing Search API retirement - Microsoft Learn
- Brave drops free Search API tier - Implicator
- Brave Search API 가격 문서
'전공영역 공부 기록' 카테고리의 다른 글
| PHP2Shell 취약점 간단 정리 - CVE-2026-109618, CVE-2026-109619 (0) | 2026.10.25 |
|---|---|
| CloudNet MLOps 스터디 1주차 (2) | 2026.10.25 |
| ECS 배포 파이프라인에서 고민한 것 (0) | 2026.10.05 |
| AI Gateway 토큰 집계가 Model provider과 다른 이유 (0) | 2026.09.20 |
| kubernetes sidecar가 왜 initContainers로 구현가능하게 했을까? Kubernetes native sidecar 간단 정리 (0) | 2026.09.13 |