Unser Crawler: cryptovssbot

Wer wir sind

cryptovss.com ist eine unabhängige Vergleichs- und Transparenzseite für Krypto-Dienste (Kryptokarten, Proxys, Telefonnummern und mehr), betrieben von Connect Privacy LLC (75 E 3rd St, Sheridan, WY 82801, Vereinigte Staaten). Jede Kategorie hat ihre eigene Website, etwa cryptocardss.com. Jeder Wert, den wir zeigen (eine Gebühr, ein Limit, ein Land, ein Status), trägt eine Marke mit Host und Datum der offiziellen Seite, aus der er stammt. cryptovssbot ist der Abrufdienst, der diese Werte aktuell hält.

Was er abruft

• Öffentliche Seiten der Anbieter, die wir listen oder für eine Aufnahme prüfen: Produkt-, Preis- und Gebührenseiten, AGB, Hilfe- und Statusseiten sowie die dort verlinkten PDFs (Kartenbedingungen, Gebührenverzeichnisse).
• Öffentliche Einträge über einen Anbieter: App-Store-Seiten (App Store, Google Play, F-Droid), Gesamtbewertungen auf öffentlichen Bewertungsplattformen, Domain-Registrierungsdaten (RDAP) und archivierte Fassungen im Internet Archive.
• Nie: Bestellseiten, Formulare, Suchfelder, personenbezogene Daten oder etwas, das uns eine robots.txt verbietet.

Was mit den Inhalten passiert

Wir entnehmen einzelne Angaben (etwa „Ausgabegebühr der Karte: 10 USD“) und verknüpfen sie mit der Seite, aus der sie stammen. Wir veröffentlichen Ihre Seiten nicht erneut, verkaufen ihre Inhalte nicht weiter und nutzen sie nicht zum Training von KI-Modellen. Eine Kopie jeder abgerufenen Seite bleibt intern als Beleg für den Wert, den sie stützt, damit wir zeigen können, wann und wo ein Wert veröffentlicht war.

Wie oft und wie schnell

• Jede überwachte Seite wird etwa einmal täglich oder alle zwei Tage geprüft.
• Pro Host höchstens ein Abruf alle 10 Sekunden, nie parallel. Hosts hinter Cloudflare teilen sich zusätzlich einen gemeinsamen Takt, damit viele überwachte Websites nie zu einer Lastspitze im Netzwerk werden.
• Ein größerer Crawl-delay in Ihrer robots.txt bremst uns zusätzlich.
• Seiten, die JavaScript brauchen, öffnen wir in einem Headless-Chromium, dessen User-Agent dasselbe Token cryptovssbot trägt. Er lädt die Seite wie ein Browser, mit Skripten und Bildern.

Regeln, an die wir uns halten

• robots.txt (RFC 9309) liest unser Abrufdienst vor jeder Seite eines Hosts und speichert sie höchstens 24 Stunden zwischen. Wir werten das Token cryptovssbot aus; gibt es dafür keine Gruppe, gilt die Gruppe *. Ist robots.txt nicht lesbar (Netzwerkfehler oder HTTP 5xx), rufen wir von diesem Host nichts ab.
• Bot-Schutz wird nie umgangen. Eine Challenge, ein Captcha oder HTTP 429 gilt als Sperre und wird als solche vermerkt: Wir lösen keine Challenges, wechseln keine IP-Adressen und tarnen den Client nicht.
• Eine Identität. Alle Anfragen kommen von unseren eigenen Servern und tragen das Token cryptovssbot; wir nutzen keine Residential- oder rotierenden Proxys.
• Vereinbarungen. Nur wo ein Anbieter schriftlich einen anderen Zugang vereinbart hat (etwa ein Allowlisting-Token für seinen eigenen Bot-Schutz), gilt für seine Seiten stattdessen diese Vereinbarung.

Wie Sie prüfen, dass wir es sind

Die Anfragen unseres HTTP-Abrufdienstes sind mit Web Bot Auth signiert (HTTP Message Signatures, RFC 9421). Jede Anfrage trägt drei Header:

Signature-Agent: "https://cryptovss.com/.well-known/http-message-signatures-directory"
Signature-Input: sig1=("@authority" "signature-agent");created=…;expires=…;keyid="…";alg="ed25519";nonce="…";tag="web-bot-auth"
Signature: sig1=:…:

Der öffentliche Schlüssel steht in unserem Schlüsselverzeichnis (JWKS, die Antwort ist selbst signiert). Eine Signatur gilt 60 Sekunden und deckt den Ziel-Host ab, sie lässt sich also nicht gegen eine andere Website wiederverwenden. Cloudflares Open-Source-Bibliothek web-bot-auth prüft sie. Unsere ausgehende IP-Adresse kann sich ändern, deshalb veröffentlichen wir keine IP-Liste; bitte prüfen Sie über die Signatur oder den User-Agent.

Sperren oder bremsen

Alles sperren:

User-agent: cryptovssbot
Disallow: /

Einen Teil der Website sperren oder uns bremsen:

User-agent: cryptovssbot
Disallow: /account/
Crawl-delay: 60

Änderungen an der robots.txt wirken innerhalb von 24 Stunden. Sperren Sie uns, zeigen wir die Werte aus Ihren Seiten als „unbekannt“ oder mit dem letzten Datum, an dem wir sie prüfen konnten.

Kontakt

Sie möchten eine andere Rate, eine Ausnahme, oder ein Wert stimmt nicht? Schreiben Sie an [email protected]. Anbieter können uns auch ein Allowlisting-Token geben, damit unsere Prüfungen ihren eigenen Bot-Schutz gezielt passieren, und jede Seite unserer Websites hat die Schaltfläche „Fehler melden“.