Google, OpenAI, Anthropic und Microsoft unterstützen einen gemeinsamen Schalter, der Ihre Website aus dem KI-Training heraushält
Eine vorgeschlagene robots.txt-Richtlinie würde es Verlagen ermöglichen, KI-Trainings-Crawler mit einer Regel statt einer Regel pro Unternehmen zu blockieren.
Google, OpenAI, Anthropic und Microsoft haben sich verpflichtet, eine neue Einstellung zu berücksichtigen, die es Websitebesitzern ermöglicht, zu sagen, ob ihre Inhalte zum Training von KI verwendet werden dürfen. Laut Engadget übernehmen die Unternehmen einen Vorschlag, der derzeit bei der IETF, dem Gremium, das Internetstandards festlegt, geprüft wird. Es wurde vom Anthropic-Standardleiter Kevin Kelley geschrieben.
Heutzutage muss ein Verlag, der sich abmelden möchte, den Crawler jedes Unternehmens (das automatische Programm, das Seiten besucht) finden und eine separate Regel dafür schreiben. Der Vorschlag ersetzt dies durch ein gemeinsames Signal im robots.txt file, der kleinen Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, was sie besuchen dürfen. Das Beispiel sieht so aus: ein Benutzeragent namens __usage_ai-training, mit Disallow: /, um alles zu blockieren und, falls gewünscht, Allow: /press-kit/, um einen Abschnitt zuzulassen.
Der Rollout ist je nach Unternehmen unterschiedlich. Anthropic hat bereits mit der Unterstützung begonnen. Microsoft plant den Start am 1. Februar 2027, Google Anfang 2027 und OpenAI hat gesagt „in den kommenden Monaten“.
Was steckt dahinter: Seit Jahren stellt sich die Frage „Können KI-Unternehmen auf meiner Seite trainieren?“ hatte eine chaotische Antwort, da jeder Anbieter seine eigenen Regeln und Namen hatte. Ein gemeinsames Label erleichtert es einem kleinen Verlag, einmal Nein zu sagen und fertig zu sein. Zwei Grenzen sind wissenswert. Die Anweisung gilt nur für das KI-Training: Sie stoppt nicht das gesamte Crawling und entfernt keine Seiten aus Google Search. Google gibt an, dass das Signal als Block für Google-Extended gelesen wird, den Agenten, der Material zum Trainieren von Gemini sammelt. Und es kann die Vergangenheit nicht ungeschehen machen. Bereits erfasste Inhalte bleiben erfasst; Die Regel gilt nur für zukünftiges Crawlen. Außerdem ist robots.txt eine Aufforderung, der ehrliche Crawler folgen, und keine Sperre.
Was das für Sie bedeutet: Wenn Sie einen Blog, einen Shop oder eine Portfolio-Site betreiben, fragen Sie den Verwalter, ob die neue Regel hinzugefügt wird, sobald sie endgültig ist, oder überprüfen Sie Ihre robots.txt-Einstellungen auf Ihrer Website-Plattform. Wenn Sie möchten, dass Ihre Arbeit KI-Tools zur Verfügung steht, müssen Sie nichts tun. Wenn Sie nur ein Leser sind, ist dies ein kleines Zeichen dafür, dass sich die großen Labore über die grundlegende Etikette einig sind, auch wenn es Monate dauern wird, bis die Details bekannt sind.
Quellen
Quellen: https://www.engadget.com/2303225/google-openai-anthropic-ai-crawling-controls/
Die Zahlen von Anthropic vor dem Börsengang: Umsatz um das Zwölffache gestiegen, Verlust von 23 Milliarden US-Dollar
Berichte zum aktualisierten Börsengangsantrag von Anthropic zeigen einen Quartalsumsatz von fast 17 Milliarden US-Dollar, einen Nettoverlust von 23,3 Milliarden US-Dollar und Rechenverpflichtungen in Höhe von 895 Milliarden US-Dollar.
