Baza Wiedzy & Najczęstsze Pytania (FAQ)

Forward-Confirmed Reverse DNS polega na wykonaniu zapytania PTR dla adresu IP klienta (uzyskanie nazwy hosta, np. crawl-66-249-66-1.googlebot.com), a następnie natychmiastowym rozwiązaniu tej nazwy zapytaniem DNS A/AAAA w celu potwierdzenia, że zwrócony IP jest identyczny z IP połączenia.

RFC 8482 rekomenduje serwerom DNS zaprzestanie zwracania wszystkich rekordów strefy w odpowiedzi na zapytanie ANY, co zapobiega wykorzystywaniu serwerów do ataków typu DNS Amplification DDoS.

Mierzone są czasy: DNS Lookup, TCP Handshake, TLS Session Negotiation, Time to First Byte (TTFB) oraz Total Transfer Duration z precyzją milisekundową.

Oficjalne roboty (Googlebot, Bingbot) respektują dyrektywy robots.txt, nagłówki Crawl-Delay, sygnały ETag/304 Not Modified oraz posiadają zweryfikowane rekordy PTR w autonomicznych systemach AS15169 (Google) lub AS8075 (Microsoft).

Węzeł publikuje dynamiczny nagłówek Atom link rel="hub" kierujący do publicznych hubów (Google PubSubHubbub / Superfeedr), co inicjuje natychmiastowy ping pingujący boty indeksujące w ciągu sekund od publikacji treści.