Wie werden Bots und API-Aufrufe in der Besuchermessung berücksichtigt?
In der Berechnung der Besucher werden Bots, die auf unserer Blacklist stehen, ausgeschlossen. Welche das sind, kannst du der folgenden Liste entnehmen. Selbstverständlich pflegen und aktualisieren wir diese in Zukunft kontinuierlich.
Mozilla.*\(compatible; Optimizer\)
Mozilla.*\(compatible; SISTRIX Optimizer
Mozilla.*\(compatible; cron-job\.org
Mozilla.*\(compatible; DotBot
AhrefsBot
PetalBot
aspiegel\.com/petalbot
google\.com/bot\.htm
google\.com/adsbot\.htm
AdsBot-Google
Applebot
DuckDuckBot
DuckDuckGo-Favicons-Bot
SEOkicks
Googlebot
Googlebot-Image
Googlebot-Mobile
Java
UptimeRobot
bingbot
msnbot
msnbot-media
AACrawler
AcoonBot
AhrefsBot
BLEXBot
BUbiNG
Baiduspider
Baiduspider-image
CCBot
CaBot
CompSpyBot
Daum
DoCoMo
DotBot
Exabot
Ezooms
Faraday
FeedBurner
HuaweiSymantecSpider
Infohelfer
JobboerseBot
jobboerse\.com/bot\.htm
Jooblebot
Landau-Media-Spider
MJ12bot
Mail\.RU_Bot
MegaIndex
MegaIndex\.ru
MetaJobBot
MetricsBot
MojeekBot
Nutch-1\.10
OnPageBot
OpenWebSpider
PRTGCloudBot
PiplBot
Pixray-Seeker
Qwantify
Ralocobot
Screaming
Seekport
SemrushBot
SeznamBot
Site24x7
Slurp
Sosospider
Speedy
Spider
Spiderlytics
Superfeedr
Toweya\.com
TurnitinBot
TwengaBot
Twiceler
Twitterbot
UnisterBot
WebCapture
XoviBot
Yandex
ZumBot
adscanner
aggregator:Spinn3r
crawler
crawler@alexa\.com
domaincrawler\.com
echobot
heritrix
htdig
ia_archiver
imaBot
infometrics-bot
jobs\.de-Robot
linkdex\.com
magpie-crawler
meanpathbot
pricebot
psbot
rogerbot
seoscanners
smtbot
spbot
spider
ssearch_bot
tb-webde
textlink_status_crawler
tracemyfile
trendictionbot
vebidoobot-Robot
motionpoint\.com/bot\.html
idealobot pricevalidator
idealo-bot pricevalidator
Pingdom\.com_bot
webcheck
Piwik
RyteBot
Matomo/LogImport
wottot\.com/WoTBoT\.html
SeobilityBot
BananaBot
auskunftbot
BLP_bbot
hokifyBot
Elisabot
BunnyOptimizer
vebidoobot
Pinterestbot
ZoominfoBot
archive\.org_bot
tiger\.ch
cookiebot\.com
pingdom\.com
BDCbot
pagepeeker\.com
linkfluence\.com
ezoic\.com
x28\.ch
cliqzbot
Diffbot
relemindbot
pagecheck\.org
FreshpingBot
Testomatobot
facebookexternalhit
StatusCake
AhrefsSiteAudit
BingPreview
GoogleImageProxy
Uptrends
Better Uptime Bot
Faraday
oBot/2\.3\.1
Toweya.com
TurnitinBot
TwengaBot
Twiceler
Twitterbot
UnisterBot
WebCapture
XoviBot
Yandex
ZumBot
adscanner
aggregator:Spinn3r
crawler
crawleralexa.com
domaincrawler.com
echobot
heritrix
htdig
ia_archiver
imaBot
infometrics-bot
jobs.de-Robot
linkdex.com
magpie-crawler
meanpathbot
pricebot
psbot
rogerbot
seoscanners
smtbot
spbot
spider
ssearch_bot
tb-webde
textlink_status_crawler
tracemyfile
trendictionbot
vebidoobot-Robot
motionpoint.com/bot.html
idealobot pricevalidator
idealo-bot pricevalidator
Pingdom.com_bot
webcheck
Piwik
RyteBot
Matomo
wottot.com/WoTBoT.html
SeobilityBot
BananaBot
auskunftbot
BLP_bbot
hokifyBot
Elisabot
BunnyOptimizer
vebidoobot
Pinterestbot
ZoominfoBot
archive.org_bot
tiger.ch
cookiebot.com
pingdom.com
BDCbot
pagepeeker.com
linkfluence.com
ezoic.com
x28.ch
cliqzbot
Diffbot
relemindbot
pagecheck.org
FreshpingBot
Paracrawl
Du möchtest mehr über Bots wissen? Unser Kollege Michel hat einen Blogbeitrag verfasst, der die die Hintergründe gut erklärt.
API-Aufrufe und Browser Zugriffe
Für unsere Berechnung pflegen wir eine Bot-Blacklist und eine Browser-Whitelist. Aufgrund ebendieser Whitelist werden API-Aufrufe nicht als Besucher gezählt. Lediglich die Besucher, die mit den folgenden Browsern auf deine Website zugreifen, werden gezählt:
(mozilla|opera)/[0-9]+\.[0-9]+ \((amiga|android|beos|blackberry|compatible|intel|ipad|iphone|ipod|
linux|mac|macosx|macintosh|msie|nintendo|os/2|playstation|s60|sunos|symbianos|ubuntu|
unknown|wayland|windows|x11|x86_64)[-_, 0-9a-z\./]*;?[^\)]*\).*((applewebkit|chrome|firefox|gecko|safari|opera|presto|crios)[/ ][0-9]+(\.[0-9a-z_-]+)*|like gecko)mozilla/[0-9]+\.[0-9] \(compatible; msie [0-9]+\.[0-9]; windows[^\)]*\)
