WAP Мастер Форум
- Вы не зашли.
title
Description
Body
#1 2011.02.22 09:49
Парсер
Имеется страница:
http://wap4u.ru/bash/index.php?url=&fon=FFFFFF&txt=76625B&stxt=9E8379&page=1
В конце ссылки, &page=1(тут работает навигация)
На каждую страницу, выводится по 6 цитат.
Задача: Мне нужно спарсить 3000 страниц, тоесть от &page=1 до &page=3000
Как мне это реализовать?
Я систему понимаю, нам нужно в цикл for() передавать начальное значение, и конечное.
И потом в самом цикле увеличивать.
Код:
|
|
P.S.При копировнии, нужно вырезать рекламу и прочие div-классы
Для каждой цитаты, отдельный файл
Неактивен
#2 2011.02.22 11:38
Re: Парсер
Код:
|
|
Неактивен
#4 2011.02.22 14:37
Re: Парсер
<?php
set_time_limit(0);
//////настройки//////
$ot=1; //ID темы от которой парсим
$do=5; //ID темы до которой парсим
$site='http://wap4u.ru/bash/index.php?url=&fon=FFFFFF&txt=76625B&stxt=9E8379&page='; //адрес форума
$dir='txt'; //папка куда сохраняем темы
////////////////////
for($bn=$ot;$bn<$do;$bn++){
$f = file_get_contents(''.$site.''.$bn.'');
$expl = explode('<div class="text">', $f);
$f = explode('<br/> <br/>Стр.:', $expl[1]);
$text = trim(str_replace(array(' ', '"'), array(' ', '"'), $f[0]));
$ff=fopen("$dir/page_$bn.txt","w");
fwrite($ff,$text);
fclose;
}
?>
Работает.
Ещё вопрос, нужно удалить дату.
Как это сделать?
Ведь на каждой странице она разная
Отредактировано Istsam (2011.02.22 14:42)
Неактивен
#8 2011.02.22 21:22
Re: Парсер
а тут еще лучше: http://php.net/dom
Добавлено спустя 1 минуту 12 секунд:
Istsam написал:
PHP Version 5.3.1
тогда убери этот бред
Код:
|
|
и пользуйся file_put_contents
Неактивен
#10 2011.02.23 12:05
Re: Парсер
в этом, код ужасен. для меня это важно.
Код:
|
|
Неактивен