Crawlerarkitektur og Adaptive metoder

Abstract

Adaptive metoder forenkler og effektiviserer crawlervirksomhet i en verden av kontinuerlig dynamisk innhold. Flere omfattende forskningsarbeider er utført innenfor adaptive metoder, men flere av disse er ikke implementerbare i praktiske og reelle situasjoner. I tillegg baserer mange av metodene seg på forutsetninger som forenkler utledning av metodene. Disse forutsetningene fører til at de endelige algoritmene er akseptable i en teoretisk sammenheng, men ikke i en virkelig kontekst. I en dynamisk omgivelse er det viktig at crawlere er konfigurerbare og lett kan tilpasses nye formater og tjenere. Terskelen for å sette opp webtjenere for å distribuere innhold er forholdsvis lav som igjen fører til feilkonfurasjoner og inkosistente resultater. For at søkemotorer effektiv skal kunne tilby et mest mulig komplett speilbilde av world wide web, er det en betingelse at crawlere robust kan tilpasse seg inkonsistenser og hente ned innhold uten å feile. En viktig tilpasning blant dynamisk endrende websider, er for crawleren å kunne forutsi når eventuelle forandringer har skjedd eller vil skje for individuelle elementer. På denne måten kan crawleren utføre et selektiv crawl kun på sider som med stor sikkerhet er forandret. På denne måten spares både nettverksressurser og crawlerressurser. I tillegg resulterer det i en mest mulig oppdatert kolleksjon som ikke går på bekostning av unødvendig bruk av tilgengelige ressurser. Erfaringer gjennom oppgaven tilsier dog at utarbeidede adaptive teorier ikke all-tid gir ønskelige resultater i praksis på grunn av vanskeligheter med duplikatdeteksjon. Implementasjonen har i tillegg indikert et sterkt behov for en pluggbar og konfigurerbar crawlerarkitektur. I situasjoner hvor det er nødvendig å gjennomføre testimplementasjoner for å verifisere algoritmer, burde arkitekturen være tilpasningsdyktig for å bruke minimal tid på test av uakseptable metoder.