Web crawler modu automatikoan webeko orrialdeak arakatzen dituen sistema da. Web crawler bat orrialde guzti hauen kopia bana egin eta datu-base batean indizatu ondoren web bilatzaile batean modu azkarrean emaitzak erakusteko erabiltzen da.
Hasteko, eskuz zehaztutako URL helbide zerrenda bat izaten dute abiapuntu, ondoren orrialde guzti horietan hiperloturak aurkituz doan heinean orrialde berriak deskubritu eta eremua handituz doa. Horrela jarraitzen du helbide berri gehiago aurkitzen ez dituen arte edo amaiera puntu bat definitu arte.
Kanpo estekak
