 |
爬網(wǎng)-Diff
專用API
【更新時間: 2024.07.24】
Diff 爬網(wǎng) 可用于創(chuàng)建并啟動一個作業(yè)，它能夠在站點中進行搜索以及提取頁面。其中爬網(wǎng)與提取-無論是自動的還是自定義的會相互配合、攜手工作，共同完成相應(yīng)任務(wù)，實現(xiàn)高效的頁面處理流程。
|
瀏覽次數(shù)
29
采購人數(shù)
1
試用次數(shù)
0
SLA: N/A
響應(yīng): N/A
適用于個人&企業(yè)
收藏
×
完成
取消
×
書簽名稱
確定
|
- API詳情
- 定價
- 使用指南
- 關(guān)于我們
- 相關(guān)推薦
什么是Diff的爬網(wǎng)?
"Diff 爬網(wǎng)API"是一款功能強大的網(wǎng)頁數(shù)據(jù)抓取工具，它可以在幾分鐘內(nèi)深入訪問并抓取任何網(wǎng)站的每個頁面。這種API通過其高級算法，能夠快速而全面地將網(wǎng)站的內(nèi)容包
括產(chǎn)品信息、文章和用戶討論等轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)庫格式。
Diff的爬網(wǎng)有哪些核心功能？
1.自動化網(wǎng)頁爬取：用戶只需指定一個起始網(wǎng)頁或一組網(wǎng)頁，API便能自動發(fā)現(xiàn)并爬取這些頁面上的所有鏈接，包括深層次的網(wǎng)頁內(nèi)容。
2. 全面的數(shù)據(jù)提取：API能夠從爬取的網(wǎng)頁中提取各種類型的數(shù)據(jù)，如文本、圖片、表格數(shù)據(jù)等，支持廣泛的數(shù)據(jù)格式，滿足不同用戶的需求。
3. 數(shù)據(jù)輸出與訪問：API支持多種數(shù)據(jù)輸出格式，包括但不限于JSON、CSV等，方便用戶根據(jù)需求選擇適當(dāng)?shù)臄?shù)據(jù)訪問和存儲方式。
4.Crawlbot 頁面提取：內(nèi)置的Crawlbot功能使得"Diff 爬網(wǎng)API"可以直接提取并處理網(wǎng)頁內(nèi)容，進一步增強了數(shù)據(jù)處理的效率和精確度。這項功能增強了API對特定頁面
內(nèi)容的抓取能力，適用于需要深入分析單一頁面的場景。
Diff的爬網(wǎng)的核心優(yōu)勢是什么？
1. 無需規(guī)則，簡便操作：與 Extract 相似，Crawl API的使用無需設(shè)定復(fù)雜規(guī)則。用戶僅需指定網(wǎng)站上的一個起點，Crawl 便能自動爬取該頁面上的所有鏈接，并將相關(guān)內(nèi)容完整提取，大大簡化了操作過程。
2. 高速處理，效率卓越：Diffbot 擁有世界級的分布式爬蟲基礎(chǔ)設(shè)施，能夠每天高效處理數(shù)百萬個網(wǎng)頁。這種大規(guī)模的處理能力確保了數(shù)據(jù)抓取的高效率和高速度，滿足用戶對大量數(shù)據(jù)處理的需求。
3. 完整的API可訪問性，靈活應(yīng)用：通過使用爬網(wǎng)API，用戶可以通過編程方式啟動爬網(wǎng)過程、實時檢查爬網(wǎng)狀態(tài)，并便捷地檢索輸出結(jié)果。這種完全可編程的訪問性為數(shù)據(jù)的自動化采集和處理提供了極大的靈活性和便利。
在哪些場景會用到Diff的爬網(wǎng)？
"Diff 爬網(wǎng)API"提供了強大的自動化網(wǎng)頁爬取和數(shù)據(jù)提取功能，適用于多種需要大規(guī)模數(shù)據(jù)處理和信息監(jiān)測的場景，以下是一些具體的使用場景：
|
市場研究和分析：通過"Diff 爬網(wǎng)API"來全面提取競爭對 手網(wǎng)站上的產(chǎn)品信息，包括價格、描述、客戶評價等，從而進 行深入的市場分析。
|
新聞內(nèi)容聚合：新聞媒體和內(nèi)容平臺可以通過"Diff 爬網(wǎng) API"自動抓取各大新聞網(wǎng)站的實時內(nèi)容，整合并發(fā)布全面的報 道。
|
|
科研數(shù)據(jù)收集：研究人員可以使用"Diff 爬網(wǎng)API"從網(wǎng)絡(luò) 上自動收集與其研究領(lǐng)域相關(guān)的開放數(shù)據(jù)，用于科學(xué)研究和學(xué) 術(shù)發(fā)表。
|
網(wǎng)絡(luò)安全監(jiān)控：網(wǎng)絡(luò)安全人員可以利用"Diff 爬網(wǎng)API"抓取 潛在的威脅信息，如惡意軟件下載鏈接、釣魚網(wǎng)站內(nèi)容等，以便 進行進一步的分析與防范。
|
Diffbot 是一套產(chǎn)品，可以輕松集成和研究網(wǎng)絡(luò)上的數(shù)據(jù)。
與 Google 等網(wǎng)絡(luò)搜索工具不同，Diffbot 中的數(shù)據(jù)是按含義而不是標記構(gòu)建的。我們有文章、產(chǎn)品和組織等實體，而不是網(wǎng)站。項目實體具有類似 和 的屬性。組織實體具有類似 和 的屬性。titleauthorrevenuelocation
Diffbot 工具允許您從現(xiàn)有網(wǎng)頁中對有意義的實體進行分類和提取，或者將公共網(wǎng)絡(luò)搜索為一個巨大的實體圖形數(shù)據(jù)庫，并按其屬性進行過濾。
世界各地的公司都使用 Diffbot 來利用公共 Web 數(shù)據(jù)，而無需從其原始網(wǎng)站標記表單中構(gòu)建和清理數(shù)據(jù)。
- DuckDuckGo 使用 Extract 來構(gòu)建用于購物搜索的產(chǎn)品數(shù)據(jù)
- ProQuo AI 使用知識圖譜中的組織數(shù)據(jù)來推動預(yù)測性業(yè)務(wù)發(fā)展
- Contingent 使用知識圖譜中的新聞數(shù)據(jù)來揭示目標公司的供應(yīng)鏈洞察
像您這樣的客戶每天都在使用 Diffbot 將 Web 智能連接到您的應(yīng)用程序中。我們很想聽聽您正在構(gòu)建的內(nèi)容。在Twitter或LinkedIn上與我們交談。
爬網(wǎng) API 簡介
暫停、刪除、重新啟動或查看批量作業(yè)的狀態(tài)。
爬網(wǎng)與提取 API（自動或自定義）密切相關(guān)。它可以快速抓取網(wǎng)站以查找適當(dāng)?shù)逆溄樱⑦@些鏈接交給提取 API 進行處理。然后，所有結(jié)構(gòu)化頁面結(jié)果都會被編譯成一個“集合”，可以完整下載或使用搜索 API 進行搜索。
注意：如果您有要提取的所有 URL 的完整列表，則可能正在尋找批量 API。
對 Crawl API 的訪問僅限于 Plus 計劃及更高版本
隨時升級到 diffbot.com/pricing Plus 計劃，或聯(lián)系 sales@diffbot.com 了解更多信息。
默認情況下，抓取遵循網(wǎng)站的robots.txt說明，包括 disallow 和 crawl-delay 指令。
在特定情況下（通常是由于您與要抓取的網(wǎng)站建立了合作伙伴關(guān)系或協(xié)議），可以忽略/覆蓋robots.txt指令。這通常比等待第三方網(wǎng)站更新其robots.txt文件要快。
要將站點的抓取列入白名單，請在站點的robots.txt中指定“Diffbot”用戶代理：
User-agent: Diffbot
Disallow:
請注意，Crawl 不遵守該指令。Allow
對于啟動計劃，非活動抓取將在 18 天后從您的帳戶中刪除，對于 Plus 計劃，將在 32 天后從您的帳戶中刪除。
刪除包括提取的數(shù)據(jù)以及作業(yè)元信息（名稱、設(shè)置等）。
“非活動”爬網(wǎng)是基本上處于永久暫停狀態(tài)的爬網(wǎng)。系統(tǒng)不會刪除活動的定期/重復(fù)抓取，也不會從您的帳戶中移除。但是，在定期爬網(wǎng)完成最后一輪后，它將受到常規(guī)刪除策略的約束。
創(chuàng)建爬網(wǎng)
創(chuàng)建并啟動作業(yè)以通過網(wǎng)站抓取和提取頁面。
若要創(chuàng)建爬網(wǎng)，請向此終結(jié)點發(fā)出 POST 請求，并設(shè)置并包含下面指定的最低設(shè)置。Content-Typeapplication/x-www-form-urlencoded
創(chuàng)建爬網(wǎng)作業(yè)將指示 Diffbot 立即開始抓取提供的種子 URL 以獲取鏈接，并使用指定的提取 API 處理它們。
其他設(shè)置可用于僅對與特定 URL 模式匹配的鏈接進行爬網(wǎng)，或僅提取某些已爬網(wǎng)鏈接。
Diffbot 是一套產(chǎn)品，可以輕松集成和研究網(wǎng)絡(luò)上的數(shù)據(jù)。
與 Google 等網(wǎng)絡(luò)搜索工具不同，Diffbot 中的數(shù)據(jù)是按含義而不是標記構(gòu)建的。我們有文章、產(chǎn)品和組織等實體，而不是網(wǎng)站。項目實體具有類似 和 的屬性。組織實體具有類似 和 的屬性。titleauthorrevenuelocation
Diffbot 工具允許您從現(xiàn)有網(wǎng)頁中對有意義的實體進行分類和提取，或者將公共網(wǎng)絡(luò)搜索為一個巨大的實體圖形數(shù)據(jù)庫，并按其屬性進行過濾。
世界各地的公司都使用 Diffbot 來利用公共 Web 數(shù)據(jù)，而無需從其原始網(wǎng)站標記表單中構(gòu)建和清理數(shù)據(jù)。
- DuckDuckGo 使用 Extract 來構(gòu)建用于購物搜索的產(chǎn)品數(shù)據(jù)
- ProQuo AI 使用知識圖譜中的組織數(shù)據(jù)來推動預(yù)測性業(yè)務(wù)發(fā)展
- Contingent 使用知識圖譜中的新聞數(shù)據(jù)來揭示目標公司的供應(yīng)鏈洞察
像您這樣的客戶每天都在使用 Diffbot 將 Web 智能連接到您的應(yīng)用程序中。我們很想聽聽您正在構(gòu)建的內(nèi)容。在Twitter或LinkedIn上與我們交談。
爬網(wǎng) API 簡介
暫停、刪除、重新啟動或查看批量作業(yè)的狀態(tài)。
爬網(wǎng)與提取 API（自動或自定義）密切相關(guān)。它可以快速抓取網(wǎng)站以查找適當(dāng)?shù)逆溄樱⑦@些鏈接交給提取 API 進行處理。然后，所有結(jié)構(gòu)化頁面結(jié)果都會被編譯成一個“集合”，可以完整下載或使用搜索 API 進行搜索。
注意：如果您有要提取的所有 URL 的完整列表，則可能正在尋找批量 API。
對 Crawl API 的訪問僅限于 Plus 計劃及更高版本
隨時升級到 diffbot.com/pricing Plus 計劃，或聯(lián)系 sales@diffbot.com 了解更多信息。
默認情況下，抓取遵循網(wǎng)站的robots.txt說明，包括 disallow 和 crawl-delay 指令。
在特定情況下（通常是由于您與要抓取的網(wǎng)站建立了合作伙伴關(guān)系或協(xié)議），可以忽略/覆蓋robots.txt指令。這通常比等待第三方網(wǎng)站更新其robots.txt文件要快。
要將站點的抓取列入白名單，請在站點的robots.txt中指定“Diffbot”用戶代理：
User-agent: Diffbot
Disallow:
請注意，Crawl 不遵守該指令。Allow
對于啟動計劃，非活動抓取將在 18 天后從您的帳戶中刪除，對于 Plus 計劃，將在 32 天后從您的帳戶中刪除。
刪除包括提取的數(shù)據(jù)以及作業(yè)元信息（名稱、設(shè)置等）。
“非活動”爬網(wǎng)是基本上處于永久暫停狀態(tài)的爬網(wǎng)。系統(tǒng)不會刪除活動的定期/重復(fù)抓取，也不會從您的帳戶中移除。但是，在定期爬網(wǎng)完成最后一輪后，它將受到常規(guī)刪除策略的約束。
創(chuàng)建爬網(wǎng)
創(chuàng)建并啟動作業(yè)以通過網(wǎng)站抓取和提取頁面。
若要創(chuàng)建爬網(wǎng)，請向此終結(jié)點發(fā)出 POST 請求，并設(shè)置并包含下面指定的最低設(shè)置。Content-Typeapplication/x-www-form-urlencoded
創(chuàng)建爬網(wǎng)作業(yè)將指示 Diffbot 立即開始抓取提供的種子 URL 以獲取鏈接，并使用指定的提取 API 處理它們。
其他設(shè)置可用于僅對與特定 URL 模式匹配的鏈接進行爬網(wǎng)，或僅提取某些已爬網(wǎng)鏈接。
