
天貓商品數(shù)據(jù)爬取方案:官方API與非官方接口實戰(zhàn)
開始排除:
于是可選的就是SearchAPI 和SerpAPI了。
Postman示例:
優(yōu)缺點
?? 簡單明了,特別是我嘗試的Googl搜索,完成和在網(wǎng)頁上使用效果一樣的,可以用各種關(guān)鍵字精準(zhǔn)搜索。
?? 需自建爬蟲進(jìn)行下一步的信息拉取。
優(yōu)缺點
?? 有Cache,一小時內(nèi)重復(fù)同樣的搜索是免費的!
?? 不支持前端跨域訪問,后續(xù)使用也需要自建爬蟲進(jìn)行下一步的信息拉取。
找到可以用的API,本來是要研究怎么繼續(xù)獲取目標(biāo)網(wǎng)站的數(shù)據(jù),然后轉(zhuǎn)換成AI能用的格式。但是我忽然想到這些個聚合搜索API讓我可以直接在Google上進(jìn)行搜索誒!那我是不是可以構(gòu)建一個小工具,讓我可以免梯子用上Google?我把自己的需求告訴DeepSeek V3,于是這個簡單的搜索工具就出來了!
你是一個前端工程師,熟練使用HTML、css、JavaScript,對網(wǎng)頁設(shè)計很有經(jīng)驗。
我要寫一個Html網(wǎng)頁,可以在script中調(diào)用搜索平臺的RestfulAPI。
可以用的搜索平臺,有兩個:
1. SearchAPI, 他的的鏈接是https://www.searchapi.io/api/v1/search?engine={engine}&q={keywords}&time_period={time_from}&gl={location}&api_key={apiKey}
2. Serp API, 他的鏈接是https://serpapi.com/search?engine={engine}&q={keywords}&time_period={time_from}&gl={location}&api_key={apiKey}
需要提供一個選擇框,讓用戶選擇用哪個搜索平臺。
其中訪問的參數(shù){值}都是需要從用戶的輸入框中獲取,并且要進(jìn)行URLEncode。
搜索平臺返回的結(jié)果是個Json,如下:
{
……
"organic_results": [
{
"position": 1,
"title":?"AI Agent ? Supercharge Your Workflows with AI",
"link":?"https://aiagent.app/",
"redirect_link":?"https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://aiagent.app/&ved=2ahUKEwjTx5OzoLyMAxWmKFkFHVXTKp4QFnoECAoQAQ",
"displayed_link":?"https://aiagent.app",
"favicon":?"https://serpapi.com/searches/67eeb33a83f4f2f0c3f945b0/images/0a0890c32fc0287ffe76424f2d2012e88c5db842d3020b5c35e53b983fc87c75.png",
"snippet":?"Workflow automation with AI Agents for everyone. Use cutting-edge technology to free up your time and focus. Try today.",
"snippet_highlighted_words": [
"Workflow automation with AI Agents for everyone"
],
"source":?"AiAgent.app"
}
……
}
我想要將organic_results 中的結(jié)果抽取出來,作為列表展示到頁面上,要求和google的風(fēng)格類似:有標(biāo)題(title)、有摘要(snippet)、小字體顯示時間(date),點擊標(biāo)題可以跳轉(zhuǎn)到對應(yīng)的link。
請你幫我設(shè)計一個好看的,可以交互的頁面,符合現(xiàn)代簡約設(shè)計風(fēng)格的html,用一個HTML文件返回。
### Review用的prompt
我本來想讓DeepSeek R1幫忙做review和改進(jìn)的,但是似乎R1的代碼能力有點問題。給出的結(jié)果總是錯的…… 所以我只好把review的指令繼續(xù)丟給DeepSeek V3 自己做了。
```typescript
# 你現(xiàn)在是:HTML源碼深度審查與重構(gòu)專家
## 定位
資深前端開發(fā)顧問,專注視覺設(shè)計與代碼質(zhì)量的雙重審查,具備自主修正能力的代碼優(yōu)化專家
## 核心能力
1. 設(shè)計美學(xué)分析能力
2. 代碼質(zhì)量診斷能力
3. 自主重構(gòu)優(yōu)化能力
4. 完整文件構(gòu)建能力
## 知識儲備
- 現(xiàn)代網(wǎng)頁設(shè)計原則(Figma/Ant Design/Material Design)
- W3C HTML5/CSS3 最新規(guī)范
- 瀏覽器兼容性處理方案
- 響應(yīng)式布局實現(xiàn)模式
- JavaScrip的專業(yè)知識和用法
## 處理流程
### 第一階段:設(shè)計審查
1. 視覺層次分析:布局結(jié)構(gòu)/留白比例/視覺動線
2. 風(fēng)格一致性核查:配色方案/字體系統(tǒng)/組件樣式
3. 響應(yīng)式評估:視口適配方案/斷點設(shè)置合理性
4. 交互體驗檢測:元素狀態(tài)/加載邏輯/錯誤處理
### 第二階段:代碼審查
1. 語義化標(biāo)記檢查:標(biāo)簽誤用/ARIA屬性缺失
2. 代碼健康度檢測:未閉合標(biāo)簽/屬性錯誤/控制臺報錯
3. 資源完整性驗證:外部依賴加載/相對路徑正確性
4. 性能優(yōu)化點識別:渲染阻塞資源/未壓縮素材
### 第三階段:自主重構(gòu)
1. 設(shè)計缺陷修復(fù):注入CSS變量系統(tǒng)/補充缺失狀態(tài)樣式
2. 代碼規(guī)范化處理:DOCTYPE聲明/字符編碼標(biāo)準(zhǔn)化
3. 結(jié)構(gòu)完整性補全:補充缺失的內(nèi)容/優(yōu)化DOM層級
4. 驗證性增強:添加視口meta標(biāo)簽/完善alt描述文本
## 輸出要求
輸出可以copy即可用的完整html源碼。
現(xiàn)在開始幫我審查下面的html:
```html
……
實際測試中,發(fā)現(xiàn)SerpApi竟然不支持CROS!所以還額外補充了一點需求:要求如果使用SerpAPI的時候還得用跨域代理服務(wù) Cros-Anywhere。Cros-anywhere: 是一款用代理解決跨域問題的小工具,幾行js代碼,可以自己部署。
找一個可以部署靜態(tài)HTML的網(wǎng)站,將剛剛的html上傳上去:https://www.32kw.com/view/eca2c3e如果這個網(wǎng)站掛了,大家還可以將源碼拷貝到本地,保存為html,直接用瀏覽器打開就可以了,安全又放心。源碼地址:https://gitee.com/gavin_luo/small_tool/raw/master/html/searchapi.html而且我還發(fā)現(xiàn),通過SearchAPI使用百度,竟然沒有廣告了!??
原文轉(zhuǎn)載自:https://mp.weixin.qq.com/s/NnfFzT7Qd01Yey07tM-Tzg
天貓商品數(shù)據(jù)爬取方案:官方API與非官方接口實戰(zhàn)
地圖開發(fā)者平臺對比:高德、百度、騰訊、必應(yīng)、天地圖等API
API接口安全—webservice、Swagger、WEBpack
從零開始認(rèn)識 API,讓網(wǎng)頁信息成為你的「知識庫」
APISIX-MCP:利用 AI + MCP 擁抱 API 智能化管理
如何0代碼將存量 API 適配 MCP 協(xié)議?
C# 與 Windows API 交互的“秘密武器”:結(jié)構(gòu)體和聯(lián)合體
免費強大的API開發(fā)和調(diào)試工具——Reqable
SpringBoot中6種API版本控制策略