CodeNote.net

FirecrawlのOSS版をself-hostingして使ってみた

#scraping #oss #llm
重岡 正 ·  Sat, September 7, 2024

FirecrawlのOSS版をself-hostingして使ってみたので、ご紹介します。

前提条件

事前準備

gh repo clone mendableai/firecrawl && cd firecrawl/
git checkout refs/tags/v1.0.0

Firecrawl OSS版をローカル環境で利用できるようにする

.envをセットアップ

cp apps/api/.env.example .env
10c10
< USE_DB_AUTHENTICATION=true
---
> USE_DB_AUTHENTICATION=false

Firecrawlをローカル環境で起動

docker compose up -d

以下のURLがそれぞれ開けることを確認しました。

crawlingの例

curl -X POST http://localhost:3002/v1/crawl \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

scrapingの例

curl -X POST http://localhost:3002/v1/scrape \
    -H 'Content-Type: application/json' \
    -d '{
      "url": "https://docs.firecrawl.dev"
    }'

以上、FirecrawlのOSS版をself-hostingして使ってみた、現場からお送りしました。