當前位置: 華文世界 > 科技

無視網站反AI抓取政策,Anthropic爬蟲引起多個網站所有者不滿

2024-07-27科技

IT之家 7 月 27 日訊息,據 The Verge 當地時間 26 日報道,Anthropic 公司使用的 ClaudeBot 在短短 24 小時之內,就存取了 iFixit 網站近百萬次,此舉違反了該網站的使用條款。

這一顯得有些瘋狂的舉動,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上開懟,IT之家附大意如下:

  • 「如果這些請求(指存取)中的任何一個存取了我們的使用條款,那麽它會告訴你我們的內容被明確禁止使用。別問我,去問 Claude!」

  • 「我知道你渴望獲得數據,Claude 也真的很聰明!但是,你真的有必要在 24 小時內存取我們的伺服器 100 萬次嗎?你不僅在不付費的情況下獲取我們的內容,還占用了我們的 devops 資源,一點都不酷!」

  • 「如果你想要跟我們談談內容特許和商業用途的話,我們就在這呢。」

  • iFixit 的使用條款政策聲明,「未經公司事先明確的書面特許,嚴格禁止復制、復制或分發」網站上的任何內容,特別包括「用於訓練機器學習或 AI 模型」。

    Wiens 此後表示,iFixit 已經在其 robots.txt 檔中添加了「爬行延遲」擴充套件。

    然而,iFixit 並非唯一的受害者。Read the Docs 聯合創始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的貼文中表示,他們的網站也曾被 Anthropic 的爬蟲頻繁抓取。

    這些行為並非 ClaudeBot 的「初犯」。早在今年 4 月,Linux Mint 網站論壇就將一次網站故障歸因於 ClaudeBot 的抓取活動造成的壓力。