Ometrix

heritrix

Internet Archive

Internet Archive's academic & research crawlers

6

Score de légitimité

robots.txt

Non respecté

Fréquence

Faible

Impact serveur

Faible

Recommandation

Surveiller

Données techniques

User-Agent Pattern

heritrix

Détection JS

const isheritrix = /heritrix/i.test(navigator.userAgent);
Capability de rendu:

Qu'est-ce que heritrix ?

heritrix is a academic & research crawlers.

Types de contenu ciblés

text

Documentation officielle

Voir la documentation de heritrix