80legs Crawler zwang Datenbank in die Knie

Hier findet Ihr alte News....
Alles was älter als ein halbes Jahr ist wird gelöscht
Forumsregeln
Hinweis: Ihr befindet Euch im ARCHIV
Dies sind alte News :zwinker:

80legs Crawler zwang Datenbank in die Knie

Beitragvon Dr.Death » 18.04.2012 09:05

Hallo zusammen,

ein kurzer Hinweis in eigener Sache:

Am 17.04.2012 gegen 20 Uhr hat uns ein agressiver WebCrawler ( 80legs ) heimgesucht und den MySQL Datenbankserver stark belastet.

Um den kompletten MySQL Server zu schützen wurde unsere Domain "lpi-clan.de" gesperrt.

Nach einer kurzen Klärung des Sachverhalts wurde die Domain am 18.04.2012 - 9:10 Uhr wieder freigegeben.

Ursache:
Ein agressiver WebCrawler, der innerhalb von einer Stunde ca. 6000 Seitenaufrufe mit 477 gleichzeitigen Verbindungen startete.

Problemlösung:
Einbau einer automatischen Umleitung falls der agressive WebCrawler erneut auftaucht.

Genaue Lösungsbeschreibung:
ÖFFNE die Datei .htaccess im Forumsroot (dort, wo auch die Datei memberlist.php liegt)
EINFÜGEN:
Code: Alles auswählen
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]


Beschreibung der Lösung:
Sollte der WebCrawler mit dem User-Agent Namen 80legs oder 008 das Forum besuchen wollen, so wird er auf sich selbst umgeleitet.
Doc. :schein:

 

 

Benutzeravatar
Dr.Death
Site Admin
Site Admin
 
Beiträge: 1920
Bilder: 106
Registriert: 02.2005
Wohnort: Xanten
Alter: 48

Werbung wird nicht durch www.lpi-clan.de bereitgestellt, sondern durch Google. Besucher dieser Links werden gebeten sorgfaeltig mit den angebotenen Produkten/Seiten umzugehen.
 

Re: BLEXBot Crawler zwang Datenbank in die Knie

Beitragvon Dr.Death » 25.06.2013 14:49

Erneut wurden wir diese Nacht (25.06.2013) von einem aggressiven Search-Crawl-Bot heimgesucht..... BLEXBot


Laut Access Log ist die Ursprungsadresse

84-0 29937 0/12/12 W 3.14 67 0 0.0 4.09 4.09 198.20.65.18 lpi-clan.de GET /viewtopic.php?


Eine whois Abfrage deutet auf den Betreiber www.singlehop.com

Die .htaccess wurde bereits erweitert auf:

Code: Alles auswählen
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} 008 [NC]
RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

RewriteCond %{HTTP_USER_AGENT} Pixray-Seeker [NC]
RewriteRule ^/* http://www.pixray.com/pixraybot [L]

RewriteCond %{HTTP_USER_AGENT} BLEXBot [NC]
RewriteRule ^/* http://www.singlehop.com/ [L]

RewriteCond %{HTTP_USER_AGENT} ^UnisterBot [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.126 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.186 [OR]
RewriteCond %{REMOTE_ADDR} ^84.19.190.55 [OR]
RewriteCond %{REMOTE_ADDR} ^87.118.116.25
RewriteRule ^(.*)$ http://www.unister.de [L]

RewriteCond %{HTTP_USER_AGENT} ^BacklinkCrawler [NC]
RewriteRule ^(.*)$ http://www.backlinktest.com/crawler.html [L]

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit.*$ [OR]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?lpi-clan\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?phpbb\.de/ [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteRule text2schild.php$ http://www.lpi-clan.de/stop.gif [L]
Doc. :schein:

 

 

Benutzeravatar
Dr.Death
Site Admin
Site Admin
 
Beiträge: 1920
Bilder: 106
Registriert: 02.2005
Wohnort: Xanten
Alter: 48


Zurück zu News - Archiv

Wer ist online?

Mitglieder in diesem Forum: werden nur angemeldeten Mitgliedern angezeigt und 1 Gast

cron