Blokowanie scraperów AI przed kradzieżą treści Twojej strony

Czy wiesz, że możesz zablokować scrapery związane z AI przed pobieraniem całych Twoich stron i faktyczną kradzieżą Twoich treści? Dzięki temu modele LLM będą musiały znaleźć inne źródło danych do procesu uczenia!

Dlaczego, zapytasz? Przede wszystkim firmy AI zarabiają na swoich LLM-ach, więc wykorzystywanie Twoich treści bez płacenia Ci to po prostu kradzież. Dotyczy to tekstów, obrazów i dźwięków. To własność intelektualna, która ma określoną wartość. Dawno temu umieściłem na swojej stronie licencję „Attribution-NonCommercial-NoDerivatives” i zgadnij co… nie ma to znaczenia. Nie otrzymałem żadnego uznania autorstwa. Dziesiątki różnych botów odwiedzają moją stronę i po prostu pobierają całą zawartość. Postanowiłem więc…

… zablokować te związane z AI boty indeksujące i scrapujące strony. I nie, nie przez modyfikację pliku robots.txt (ani żadnych map witryny XML), ponieważ może to okazać się niewystarczające w przypadku niektórych chińskich botów, bo one po prostu „mają to gdzieś”. Nie zdecydowałem się też na żadne wtyczki ani rozszerzenia serwera. Postanowiłem pójść na trudniejszą drogę:

location / {
  if ($http_user_agent ~* "Bytespider") { return 403; }
  ...
}

I zdecydować, któremu dokładnie HTTP User Agentowi (innymi słowy klienckiej „przeglądarce”) chciałbym pokazać środkowy palec. Dla tych, którzy nie wpatrują się w logi serwera przynajmniej kilka minut dziennie – „Bytespider” to bot scrapujący firmy ByteDance, właściciela TikToka. Mówi się, że ten bot mógłby pobierać treści, by karmić jakiś chiński LLM. Chiński czy amerykański – tak naprawdę nie ma to znaczenia. Jeśli chciałbyś wykorzystać moje treści, to albo mi zapłać, albo oznacz autorstwo wykorzystanych treści. Jak, zapytasz? Szczerze mówiąc, nie wiem.

Jest albo trudna droga (jak w przypadku blokowania określonego UA w NGINX), albo droga dyplomatyczna, która mogłaby doprowadzić do stworzenia katalogu stron, które nie chcą za darmo uczestniczyć w procesie karmienia AI. Myślę, że jest o wiele więcej twórców treści, którzy chcieliby dostać kawałek urodzinowego tortu AI…