Crawler

Technische Probleme wie Blog-Template, HTML, Widgets, CSS, Java-Script, Domain- & Blog-Hosting, WordPress, Blog-Design o.Ä. machen dir das Leben schwer? Beschreibe dein Problem und andere Benutzer werden dir helfen.

Crawler

Beitragvon Kitchencouple » Mo 30. Mär 2015, 14:22

Hi,

meinen Blog besuchen regelmäßig Crawler. Theoretisch für die Zugrffsstatistik ja ganz nett, praktisch aber völlig unbrauchbar. Geht euch das auch so? Macht ihr etwas dagegen und wenn ja, was kann man machen?
Schaut mal vorbei auf www.kitchencouple.de - Kochrezepte für zwei Köche. So bleibt es in der Küche harmonisch
Kitchencouple
Pendler
 
Beiträge: 54
Registriert: Mi 18. Mär 2015, 11:23

Crawler

Sponsor
 

Re: Crawler

Beitragvon Xenic » Mo 30. Mär 2015, 18:22

Versteh ich nicht, willst du gefunden werden oder nicht bei google?
Und dabei geht es ja nicht nur um google sondern alle Crawler Bots sämtlicher Suchmaschinen. Du weißt also das ein Crawler der Bot einer Suchmaschine ist?
Und wenn mich nicht alles täuscht werden crawler eh aus der "organic search" ausgeschlossen. Natürlich werden sie dir angezeigt aber nicht als "reale" Besucher und somit ist es doch egal oder nicht :D

Du willst das sie wegbleiben? Dann geh unter deinen Blog auf Einstellunge -> Sucheinstellungen -> "Crawler und Indexierung" -> Benutzerdefinierte robots.txt -> BEarbeiten -> Benutzerdefinierten robots.txt-Inahlt aktivieren -> JA
folgendes in das kleine Fenster eingeben:

Code: Alles auswählen
# für alle Robots alles sperren
User-agent: *
Disallow: /


Somit sollten alle Crawler sämtlicher Suchmaschienen ausgesperrt werden, bedenke aber du erscheinst auch nirgendswo mehr in suchergebnissen.

Google nach robots.txt gibt noch viel mehr Hilfestellungen bezüglich präziser definierten "Ausperrungen" gewisser Seiten etc.
Das oben ist halt die Holzhammermethode für jeden Bot auf jeder Seite.

LG
Ihr sucht technische Hilfe, Tipp & Tricks für euren Blogbetrieb oder einfach nur jemanden der euch etwas erklärt?
Blogoase.de - Deine Entspannung im Internet !!!
Benutzeravatar
Xenic
Vielfahrer
 
Beiträge: 115
Registriert: Do 5. Mär 2015, 11:46

Re: Crawler

Beitragvon Kitchencouple » Mo 30. Mär 2015, 19:30

Hi,
natürlich möchte ich gerne gefunden werden. Nur ist es schon etwas bervig, wenn ich von einer Crawler-Seite gleich 30 Besucher registriere. Das ist dann ja völlig verzerrt. Sämtliche Crawler möchte ich nicht aussperren, der Google-Bot darf gerne weiter vorbeikommen. Nur irgendwelche Russischen Exemplare stören
Schaut mal vorbei auf www.kitchencouple.de - Kochrezepte für zwei Köche. So bleibt es in der Küche harmonisch
Kitchencouple
Pendler
 
Beiträge: 54
Registriert: Mi 18. Mär 2015, 11:23

Re: Crawler

Beitragvon Xenic » Mo 30. Mär 2015, 19:47

Besucher ist Besucher und auch Crawler sowie Spambots werden immer wieder vorbeikommen solange es Lücken im System gibt, frag mal die Wordpress Benutzer :D
<-- Ohne Sicherheitsvorkehrung hast du innerhalb weniger Minuten tausende Kommentare. Alles schon erlebt.

Am Ende des tages siehst du es aber Anhand der Analytics Analsyse welche Daten relevant sind, abgesehen davon das es sich eh in Google Analytics sortieren lässt.
Aber falls du imemr noch gewisse Exemplare ausperren willst, was in meinen Augen einfach unnötige Arbeit ist, hier eine Liste, viel Spaß beim suchen und einbauen :P

http://www.useragentstring.com/pages/us ... string.php

Aufbau muss wie folgt sein und halt so weiter:
Ob User-agent: Googlebot, slurp,....etc
(also mehrer Crawler mit Kommata getrennt gehen ist nicht bekannt, musst du austesten.
Aber die Methode im Beispiel ist "universal/bullet-proof"

Code: Alles auswählen
User-agent: Googlebot
Disallow: /

User-agent: msnbot
Disallow: /

User-agent: Slurp
Disallow: /


PS:
/offtopic/ -
Kleiner Tipp, weniger Beiträge und mehr als einen Satz pro Beitrag fällt weniger auf wenn du Beiträge sammeln möchtest -grins-
Ihr sucht technische Hilfe, Tipp & Tricks für euren Blogbetrieb oder einfach nur jemanden der euch etwas erklärt?
Blogoase.de - Deine Entspannung im Internet !!!
Benutzeravatar
Xenic
Vielfahrer
 
Beiträge: 115
Registriert: Do 5. Mär 2015, 11:46

Re: Crawler

Beitragvon Jonathan » Di 31. Mär 2015, 01:46

Xenic hat geschrieben:Das oben ist halt die Holzhammermethode für jeden Bot auf jeder Seite.


Das stimmt so nicht, die robots.txt ist eher eine Art Konvention, keine Methode um etwas auszusperren. Crawler gibt es viele im Netz und abgesehen von den Namenhaften Suchmaschinen ist denen die robots.txt egal.

Beispiele: Spambots, email-crawler.

Zustimmen kann ich dabei, dass du lieber ein JavaScript basiertes Statistiktool wie Piwik oder Google Analytics nutzen solltest.
Ich blogge unter: vollzeitblogger.de - Kein Marketing Bullshit, nur Kommunikation, Technik und ein wenig über Menschen.
Benutzeravatar
Jonathan
Vielfahrer
 
Beiträge: 156
Registriert: Mi 19. Jun 2013, 22:05
Wohnort: Odense, Dänemark

Re: Crawler

Beitragvon yyymimiyyy » Di 31. Mär 2015, 21:30

Versuch Google Analytics aber bedenke dabei das auch dies kein 100% Ergebnis liefert. Es Können bis zu 50% mehr Besucher auf deinem Blog gewesen sein, als Google analytics zählt. Allerdings ist es auch super um ein wenig mehr über beliebte Keywords die zu euch führten usw. zu erfahren. Ist eine tolle Hilfe bei SEO und gibt euch einen Leitfaden was besonders gut bei den Lesern ankommt und was weniger :)
Zuletzt geändert von yyymimiyyy am Fr 3. Apr 2015, 20:31, insgesamt 1-mal geändert.
yyymimiyyy
Vielfahrer
 
Beiträge: 223
Registriert: Di 6. Nov 2012, 18:55

Re: Crawler

Beitragvon Jonathan » Fr 3. Apr 2015, 17:09

Has(h)tags= keywords
Ich blogge unter: vollzeitblogger.de - Kein Marketing Bullshit, nur Kommunikation, Technik und ein wenig über Menschen.
Benutzeravatar
Jonathan
Vielfahrer
 
Beiträge: 156
Registriert: Mi 19. Jun 2013, 22:05
Wohnort: Odense, Dänemark

Re: Crawler

Beitragvon Doro » Mo 22. Jun 2015, 08:57

was ist denn ein crawler? Jemand der nur schnell mal klickt?
Doro
Pendler
 
Beiträge: 57
Registriert: So 7. Jun 2015, 11:04


Zurück zu Du suchst Hilfe

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron



© 2012 - Blog-Zug.com