» WAP Мастер Форум   https://forum.wapinet.ru/index.php
» PHP   https://forum.wapinet.ru/viewforum.php?id=3
» Как мыло ру генерит ваш трафик   https://forum.wapinet.ru/viewtopic.php?id=2752

WapStyle » 2023.04.11 15:28

У меня рекламы сайта нет, но постоянно кто-то сканирует минуя указания файла robots.txt
меня это заебало
есть у меня "типа онлайн юзеры"
так переместил этот код в файл конфига где соединение с базой, этот файл фигурирует во всех файлах
через 5 секунд мне всю базу заспамили новые записи, угадайте чьи? ВК блять
которые не имели USER_AGENT
всех в игнор отправил так, не в ущерб своему коду

Код:

1
$user_agent = empty($_SERVER['HTTP_USER_AGENT']) ? die('Доступ запрещён! Вы распознаны как БОТ') : $_SERVER['HTTP_USER_AGENT'];

как отрезало..
понимаю что код так себе, но ВК идёт нахуй
Добавлено спустя   2 минуты  8 секунд:
Кстати нагрузка на сервер упала сразу на 60%
было примерно 12-13% стало 5-6%
гандоны в ВК
Добавлено спустя   6 минут  20 секунд:
У меня экран большой, но за секунду это не влезло в экран
Сейчас тало так

Gemorroj » 2023.04.11 17:43

а как понял, что это вк?

WapStyle » 2023.04.12 16:46

Gemorroj написал:

а как понял, что это вк?

это только часть, их дохера (запросов)
Добавлено спустя   7 минут  49 секунд:
Есть у меня таблица такая, пишет всех кто зашёл на сайт "даря им куки"
после того как перенёс код в конфиг, за секунды таблица возросла на 1500 записей (автоудаление стоит, 10 минут помоему)
давай копаться кто кошмарит меня, самый мощьный это IP вк, второй какой-то IP из израиля
полный игнор robots.txt, причём USER_AGENT не передают.
Вот поэтому решил, нет "браузера" идёт нахуй
в .htaccess добавил

Код:

1
2
3
4
5
6
SetEnvIfNoCase User-Agent "ZoominfoBot|InternetMeasurement|Abonti|aggregator|AhrefsBot|Aport|asterias|Baiduspider|bingbot|binance|BackupLand|Barkrowler|BDCbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy|CyotekHTTP|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|DownloadNinja|dcrawl|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|facebookexternalhit|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntentCrawler|Gigabot|GrapeshotCrawler|Go-http-client|Harvest|hloader|HTTrack|humanlinks|HybridBot|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|ips-agent|IstellaBot|JamesBOT|JennyBot|JS-Kit|Jooblebot|k2spider|Kenjin|kmSearchBot|larbin|LexiBot|Linguee|LinkExchanger|LinkextractorPro|linko|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|Mail.RU_Bot|magpie|MataHari|MaxPointCrawler|MegaIndex|memoryBot|MIIxpc|Mippin|MisterPiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NetcraftSurveyAgent|NICErsPRO|NjuiceBot|NPBot|Nutch|OfflineExplorer|OLEcrawler|Openfind|openstat.ru|panscient|PostRank|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|QueryNMetasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|statdom.ru|SputnikBot|suggybot|SurveyBot|suzuran|Teleport|Telesoft|TheIntraformant|TheNomad|TightTwatBot|Titan|True_Robot|ttCrawler|turingos|TurnitinBot|TOBBOT|UbiCrawler|UnisterBot|URLyWarning|VCI|Vedma|Voyager|WBSearchBot|WebAuto|WebBandit|WebDataStats|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|webprosbot|WebSauger|WebStripper|WebZip|Wotbox|YottosBot|Yeti|YandexFavicons|Zao|Zeus|ZyBORG|python-requests|ALittle Client|Apache-HttpClient|Rogue Robot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Добавлено спустя   9 минут  25 секунд:
Вроде пока отрезало, но error.log apache2 "в ужасе"))
скрин 3, эта сука уже 3 месяц не слазит с моего сайта, ему 403, один хуй лезет

WapStyle » 2023.04.12 17:10

в основном разгрузило, нет "браузера" - идёшь нахер

Gemorroj » 2023.04.13 08:20

я так понял по IP решил, что это ВК. а какой IP?

WapStyle » 2023.04.13 13:35

Блин скрин не сделал, было очень много запросов с IP 94... чё то там, сейчас в логах пусто, т.к. заблочил
да определил по IP выдало VK group

Логи апача копать не охота, выше код для .htaccess рубит всех на корню + если нет идентификатора браузера тоже идут на 403