Mesteparten av tiden, når du trenger å blokkere tilgang SeekportBot eller til andre crawl bots På et nettsted er årsakene enkle. Nett edderkoppen gir for mange tilgang på kort tid og ber serverens webressurser, eller kommer fra en søkemotor der du ikke vil at nettstedet ditt skal indekseres.
Innhold
Det er veldig gunstig for et nettsted har besøkt av Crawl Bots. Disse webspidene er designet for å utforske, behandle og indeksere innholdet på websidene i søkemotorer. Google og Bing bruker slike gjennomsøkingsboter. Men det er også søkemotorer som bruker roboter for å samle inn data fra websider. Seekport Det er en av disse søkemotorene, som bruker SeekPortBot Crawler for å indeksere websider. Dessverre bruker den noen ganger det på en overdreven måte og gjør ubrukelig trafikk.
Hva er Seekportbot?
SeekportBot Det er en web crawler utviklet av selskapet Seekport, som er basert i Tyskland (men bruker IP -er fra flere land, inkludert Finland). Denne bot brukes til å utforske og indeksere nettsteder slik at de kan vises i søkeresultatene på søkemotoren Seekport. En ikke -funksjonell søkemotor, så vidt jeg skjønner. I det minste returnerte jeg ikke resultater for noen nøkkelfrase.
SeekportBot BRUK user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"Hvordan blokkerer du tilgangen til Seekportbot eller andre gjennomsøkingsbots til et nettsted
Hvis du har kommet til den konklusjonen at denne edderkoppnettet eller en annen, er det ikke nødvendig å skanne hele nettstedet ditt og lage en ubrukelig trafikk av webserveren, har du flere måter å blokkere tilgangen på.
Brannmur serverens nettnivå
Er brannmuren gjelder open-source som kan installeres på Linux -operativsystemer og kan konfigureres for å blokkere trafikk på flere kriterier. IP -adresse, plassering, porter, protokoller eller brukeragent.
APF (Advanced Policy Firewall) Det er en slik programvare som du kan blokkere uønskede støt på servernivå.
Fordi SeekPortBot og andre nett edderkopper bruker flere IP -blokker, er den mest effektive låsestyret basert på “user agent“. Asar, hvis du vil blokkere tilgangen SeekportBot med hjelp APF, alt du trenger å gjøre er å koble til webserveren av SSH, og legg til filtreringsregelen i konfigurasjonsfilen.
1. Åpne konfigurasjonsfilen med nano (eller annen redaktør).
sudo nano /etc/apf/conf.apf2. Se etter linjen som starter med “IG_TCP_CPORTS” Og legg til brukeragenten du vil blokkere på slutten av denne linjen, etterfulgt av et komma. For eksempel, hvis du vil blokkere user agent “SeekportBot“, skal linjen se slik ut:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Lagre filen og start APF -tjenesten på nytt.
sudo systemctl restart apf.serviceadgang “Seekportbot” vil bli blokkert.
Filtrering web crawls Ved hjelp av Cloudflare – Blokker din SeekPortBot -tilgang
Ved hjelp av CloudFre synes det for meg den tryggeste og mest hendige metoden du på forskjellige måter kan begrense tilgangen til noen biter til et nettsted. Metoden jeg har brukt i tilfelle av SeekportBot For å filtrere trafikk til en nettbutikk.
Forutsatt at du allerede har nettstedet lagt til Cloudflore og DNS -tjenestene er aktivert (dvs. trafikken til nettstedet er gjort av sky), følg trinnene nedenfor:
1. Åpne Clouflare -kontoen og gå til nettstedet du vil begrense tilgangen til.
2. gå til: Security → WAF og legg til en ny regel. Create rule.
3. Du velger et navn for den nye regelen, Field: User Agent – Operator: Contains – Value: SeekportBot (eller annet botnavn) – Choose action: Block – Deploy.
På bare noen få sekunder den nye regelen WAF (Web Application Firewall) Han begynner å få sin virkning.
I teorien, frekvensen som en edderkoppnett for å få tilgang til et nettsted kan settes fra robots.txt, skjønt… Det er bare i teorien.
User-agent: SeekportBot
Crawl-delay: 4Mange nettcrawlere (bortsett fra Bing og Google) følger ikke disse reglene.
Avslutningsvis, hvis du identifiserer et gjennomsøkingsnett som overdrevent tilgang til nettstedet ditt, er det best å blokkere den totale tilgangen. Hvis denne bot ikke er fra en søkemotor der du er interessert i å være til stede.
