跳转到内容

Batch Scrape

Batch Scrape 用于一次提交多个 URL,异步执行后返回一个 job id。

POST https://api.firecrawl.dev/v2/batch/scrape

字段类型必填说明
urlsstring[] (uri)需要批量抓取的 URL 列表
字段类型默认值说明
maxConcurrencynumber-该批任务的最大并发数;不填则使用团队并发限制
ignoreInvalidURLsbooleantrue忽略无效 URL,不让整批失败;无效项会出现在响应的 invalidURLs
webhookobject-Webhook 配置(可选)

urls/maxConcurrency/ignoreInvalidURLs/webhook 之外,Batch Scrape 还支持与 /v2/scrape 基本一致的参数(formats/onlyMainContent/includeTags/excludeTags/maxAge/minAge/headers/waitFor/mobile/timeout/parsers/actions/location/proxy/storeInCache/zeroDataRetention 等)。

建议参考:

字段类型说明
successboolean是否成功创建批任务
idstring批任务 id
urlstring任务查询 URL
invalidURLsstring[] | nullignoreInvalidURLs=true 时返回无效 URL 列表