Вы не зашли.
Главная » PHP » Как мыло ру генерит ваш трафик
#1. WapStyle Off (3)
Участник
2023.04.11 18:06
У меня рекламы сайта нет, но постоянно кто-то сканирует минуя указания файла robots.txt
меня это заебало
есть у меня "типа онлайн юзеры"
так переместил этот код в файл конфига где соединение с базой, этот файл фигурирует во всех файлах
через 5 секунд мне всю базу заспамили новые записи, угадайте чьи? ВК блять
которые не имели USER_AGENT
всех в игнор отправил так, не в ущерб своему коду
Код:
$user_agent = empty($_SERVER['HTTP_USER_AGENT']) ? die('Доступ запрещён! Вы распознаны как БОТ') : $_SERVER['HTTP_USER_AGENT'];
как отрезало..
понимаю что код так себе, но ВК идёт нахуй
Добавлено спустя   2 минуты  8 секунд:
Кстати нагрузка на сервер упала сразу на 60%
было примерно 12-13% стало 5-6%
гандоны в ВК
Добавлено спустя   6 минут  20 секунд:
У меня экран большой, но за секунду это не влезло в экран
Сейчас тало так
Вложения
Screenshot_1.png 132kb {781x1173} [загрузок: 116]
Screenshot_2.png 3kb {382x70} [загрузок: 120]
Отредактировано WapStyle (2023.04.11 18:06)
#2. Gemorroj On (107)
Administrator
2023.04.11 20:08
а как понял, что это вк?
#3. WapStyle Off (3)
Участник
2023.04.12 19:07
Gemorroj написал:
а как понял, что это вк?
это только часть, их дохера (запросов)
Добавлено спустя   7 минут  49 секунд:
Есть у меня таблица такая, пишет всех кто зашёл на сайт "даря им куки"
после того как перенёс код в конфиг, за секунды таблица возросла на 1500 записей (автоудаление стоит, 10 минут помоему)
давай копаться кто кошмарит меня, самый мощьный это IP вк, второй какой-то IP из израиля
полный игнор robots.txt, причём USER_AGENT не передают.
Вот поэтому решил, нет "браузера" идёт нахуй
в .htaccess добавил
Код:
SetEnvIfNoCase User-Agent "ZoominfoBot|InternetMeasurement|Abonti|aggregator|AhrefsBot|Aport|asterias|Baiduspider|bingbot|binance|BackupLand|Barkrowler|BDCbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy|CyotekHTTP|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|DownloadNinja|dcrawl|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|facebookexternalhit|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntentCrawler|Gigabot|GrapeshotCrawler|Go-http-client|Harvest|hloader|HTTrack|humanlinks|HybridBot|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|ips-agent|IstellaBot|JamesBOT|JennyBot|JS-Kit|Jooblebot|k2spider|Kenjin|kmSearchBot|larbin|LexiBot|Linguee|LinkExchanger|LinkextractorPro|linko|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|Mail.RU_Bot|magpie|MataHari|MaxPointCrawler|MegaIndex|memoryBot|MIIxpc|Mippin|MisterPiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NetcraftSurveyAgent|NICErsPRO|NjuiceBot|NPBot|Nutch|OfflineExplorer|OLEcrawler|Openfind|openstat.ru|panscient|PostRank|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|QueryNMetasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|statdom.ru|SputnikBot|suggybot|SurveyBot|suzuran|Teleport|Telesoft|TheIntraformant|TheNomad|TightTwatBot|Titan|True_Robot|ttCrawler|turingos|TurnitinBot|TOBBOT|UbiCrawler|UnisterBot|URLyWarning|VCI|Vedma|Voyager|WBSearchBot|WebAuto|WebBandit|WebDataStats|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|webprosbot|WebSauger|WebStripper|WebZip|Wotbox|YottosBot|Yeti|YandexFavicons|Zao|Zeus|ZyBORG|python-requests|ALittle Client|Apache-HttpClient|Rogue Robot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Добавлено спустя   9 минут  25 секунд:
Вроде пока отрезало, но error.log apache2 "в ужасе"))
скрин 3, эта сука уже 3 месяц не слазит с моего сайта, ему 403, один хуй лезет
Вложения
Screenshot_3.png 80kb {861x618} [загрузок: 132]
Screenshot_5.png 31kb {626x921} [загрузок: 113]
Screenshot_6.png 15kb {568x474} [загрузок: 111]
Отредактировано WapStyle (2023.04.12 20:08)
#4. WapStyle Off (3)
Участник
2023.04.12 20:08
в основном разгрузило, нет "браузера" - идёшь нахер
#5. Gemorroj On (107)
Administrator
2023.04.13 11:11
я так понял по IP решил, что это ВК. а какой IP?
#6. WapStyle Off (3)
Участник
2023.04.13 16:04
Блин скрин не сделал, было очень много запросов с IP 94... чё то там, сейчас в логах пусто, т.к. заблочил
да определил по IP выдало VK group

Логи апача копать не охота, выше код для .htaccess рубит всех на корню + если нет идентификатора браузера тоже идут на 403
Отредактировано WapStyle (2023.04.13 16:04)
Страниц: 1
Главная
WEB
PunBB Mod v0.6.2
0.011 s