Crawler
SkiftlabBot.
Crawleren bak prissammenligningstjenestene våre. Her finner du alt du trenger for å kjenne den igjen og slippe den gjennom.
SkiftlabBot besøker nettbutikkene vi sammenligner og leser offentlig tilgjengelige produktsider: pris, lagerstatus og produktopplysningene som står på siden. Informasjonen vises på prissammenligningssidene våre, der hver butikk er oppført med pris og lenke til sin egen produktside.
Crawleren drives av Billod AS (org.nr. 924 686 812 i Enhetsregisteret), selskapet bak merkevaren skiftlab. Ser du SkiftlabBot i loggene dine, er det oss.
Nettstedene den crawler for
Én og samme crawler betjener alle fire tjenestene våre. Selger du varer i en av disse kategoriene, er det derfor vi besøker deg:
Slik identifiserer den seg
All crawling identifiserer seg med denne user-agenten:
Mozilla/5.0 (compatible; SkiftlabBot/1.0; +https://skiftlab.no/bot)Alle forespørslene våre sendes med denne ene user-agenten, uansett hva vi henter. En regel som matcher delstrengen SkiftlabBot treffer dermed all trafikken vår.
Slipp crawleren gjennom
Bruker nettbutikken din Cloudflare eller en annen WAF og du vil slippe oss gjennom, lager du en regel som tillater user-agenter som inneholder delstrengen SkiftlabBot. Det dekker all trafikken vår. Trenger du å avgrense regelen til IP-adressene våre, sender vi dem på forespørsel.
Crawlehastighet
Crawleren holder lavt volum og går stort sett om natten, med god margin til det et vanlig nettsted tåler. Merker du likevel belastning fra oss, si fra, så justerer vi ned.
Vil du ikke bli besøkt?
Send oss en e-post, så stopper vi crawlingen av nettstedet ditt og fjerner butikken fra tjenestene våre. Du trenger ingen brannmurregel for det.
Kontakt
Spørsmål om crawleren, tilgang eller samarbeid? Skriv til hei@skiftlab.no. Vi svarer vanligvis innen 24 timer.