Карта сайта

Это автоматически сохраненная страница от 24.06.2013. Оригинал был здесь: http://2ch.hk/b/res/50430358.html
Сайт a2ch.ru не связан с авторами и содержимым страницы
жалоба / abuse: admin@a2ch.ru

Пнд 24 Июн 2013 09:06:09
YOBA.info
http://www.yoba.info/

Продолжаю пилить на питоне агрегатор двача.

Что это:
Ресурс, на котором в реальном времени собирается статистика по постам на досках двача. Постить нельзя, только анализ тредов.

Что можно узнать:
- на что анон больше отвечает;
- от чего анон проигрывает;
- что анон считает толстым;
- что анон двачует;
- экспериментальный раздел с центральными процессорами.

Как пользоваться:
Открывай раздел
@
Жми на номер поста


Пнд 24 Июн 2013 09:09:17
>>50430358
>экспериментальный раздел с центральными процессорами
А нет цп на двачике.

Пнд 24 Июн 2013 09:12:26
Аватарки прикрути, без них Двач неполноценнен

Пнд 24 Июн 2013 09:22:30
Прикольный сайт. Как делал? Как ты его с двачем агрегатировал?

мимо-нуб

Алсо, если б архив запилили свой, как у форчана(там их даже 2 или 3 разных) было б классно! И треды в /b/, ушедшие в бамплимит, тоже б сохранялись...

Пнд 24 Июн 2013 09:24:35
>>50430747
Азаза, да у тебя же бомбанул!

Пнд 24 Июн 2013 09:26:55
>>50430832
>Прикольный сайт. Как делал? Как ты его с двачем агрегатировал?
Питоновоский скрипт периодически запускается кроном. Парсит доски и тупо генерит статические html.

>архив запилили свой
На моей памяти у двача их минимум штуки 3 было.

Пнд 24 Июн 2013 09:28:19
>>50430358
Открыл, увидел КНДР-тролля и ЗОЖетролля и закрыл.

Пнд 24 Июн 2013 09:29:25
>>50430978
у них лайков больше

Пнд 24 Июн 2013 09:32:20
>>50431005
А как это говно лайки собирает?
Я пишу "Два чаю" и это счаитается лайком?

Пнд 24 Июн 2013 09:33:25
>>50430978
>КНДР-тролля
Там пендос-тролль, а не кореетролль

Пнд 24 Июн 2013 09:33:55
http://www.yoba.info/2tea/

Пнд 24 Июн 2013 09:39:56
Чувак, хорошо бы ещё дату поста прикрутить, чтобы знать давность в тематике.

Пнд 24 Июн 2013 09:41:50
>>50431249
Да, тематика слоупочная, но имхимо дата перегружает визуально пост.
Спасибо за фидбек, попробую что-нибудь придумать.

Пнд 24 Июн 2013 09:43:47
>>50431119
Два чаю

Пнд 24 Июн 2013 09:45:59
>>50431339
Только честное двачивание попадёт в этот раздел.

Пнд 24 Июн 2013 09:49:47
>>50430943
Чому именно крон? А не коко потоки/задержки/дочерние процессы? Моветон же.

Пнд 24 Июн 2013 09:55:32
https://www.openshift.com/, собственно это весь мой опыт вебразработок, лол.

Пнд 24 Июн 2013 09:58:36
>>50431667
Так это и не веб. А бэкэнд. У твоей прогоаммы ненужная зависимость. Которую можно обойти.(хотя может я просто помешан на проектировке дохуя )

Пнд 24 Июн 2013 09:59:18
>>50430358
> - на что анон больше отвечает;
ЕОТ, рулеточки, etc...

Пнд 24 Июн 2013 09:59:31
>>50431765
Анус свой спроектируй, пес!

Пнд 24 Июн 2013 10:00:49
>>50431765
>хотя может я просто помешан на проектировке дохуя
Поделись знаниями же, как бы ты спроектировал Йобу?

Пнд 24 Июн 2013 10:01:40
>>50430358
А как он все это собирает?

Пнд 24 Июн 2013 10:02:19
>>50431821
Грубиян. Все кожеры любят обсуждать свои проекты, и хаять чужие. Поэтому мы быстро развиваемся;)

Пнд 24 Июн 2013 10:03:40
>>50431924
>Все кожеры любят обсуждать свои проекты, и хаять чужие
А то!

Пнд 24 Июн 2013 10:04:28
>>50431856
Паттерн слушатель же. Один поток сидит и ждет события [парсингаk. Второй с некоторой периодтчностью парсит сасач.

Пнд 24 Июн 2013 10:04:33
>>50431917
Регулярными выражениями.

Пнд 24 Июн 2013 10:06:16
>>50431988
Кто события будет генерить? Вот крон и инициализирует парсинг.

Олсо, хотел вначале делать на эрланге, теперь жалею, что не стал. Вполне возможно что перепишу.

Пнд 24 Июн 2013 10:06:30
Нахуй пошел, щенок. Лойсы он тут ставить собрался.

Пнд 24 Июн 2013 10:08:12
>>50432051
я джва года ждал лойсы! оп, прикручивай лайки вконтактика!

Пнд 24 Июн 2013 10:09:22
>>50432040
Событие хуярит тот который парсит(при успещном парсинге или нахуярить метод проверку [нужды анализаk). Массы вариаций тут.

Пнд 24 Июн 2013 10:09:28
Здраствуйте. Я, Кирилл. Хотел бы чтобы вы сделали сайт, анализатор двачей, суть такова... Пользователь может заходить на сайт и видеть, сколько говна на двачах в данный момент. Можно смотреть процентное соотношение раковых постов от хороших. А движок можно поставить так что раз в 15 минут обновлялась статистика, собирая посты с двача. Можно написать пост, добавив туда слова, типа РОЛЛ, ЛАМПОВАЯ ТЯН, НЯША СТЕСНЯША, РУЛЕТКА и т.п и сайт посчитает его раковым. И треды тоже можно помечать раковым, тогда все посты без сажи в нем будут считаться раковыми. Еще чтобы была расширяемость ракового словаря и более сложные словосочетания, а еще чтобы скобочки тоже учитывались как плохой пост.
P.S. Я уже джве недели хочу такой анализатор.

Пнд 24 Июн 2013 10:10:47
>>50431996
Это я понял. Но ведь как-то не слишком продуктивно. На самом деле, я боюсь, что это анальный зонд, который собирает мои данные.

Пнд 24 Июн 2013 10:12:08
>>50432138
Чувак, обязательно добавлю "безраковый /b/"!

Пнд 24 Июн 2013 10:12:31
>>50431996
Ты что, парсишь html?

Пнд 24 Июн 2013 10:12:47
>>50432183
Анальный зонд абу уже давно прикрутил, так что ты уже зашкварен.

Пнд 24 Июн 2013 10:13:31
>>50432232
json через двач апи. Можно и тупо странички, лол.

Пнд 24 Июн 2013 10:14:03
>>50432232
А что ему еще парсить? Вакаба же не эксэмэль выдаеть.

Пнд 24 Июн 2013 10:15:09
>>50432276
Двач апи? Макака совсем пизданулась!

Пнд 24 Июн 2013 10:15:31
>>50432220
>обязательно добавлю "безраковый /b/"!
Ну я имел ввиду, что раз ты все посты собираешь, то можно и заодно анализировать их, а потом посчитать, сколько адекватных постов и тех, которые пишут сосницкие на каникулах на текущий час.

Хотя я наверное это сам запилю потом.

Пнд 24 Июн 2013 10:16:07
>>50432243
Вот блядь

Пнд 24 Июн 2013 10:16:41
>>50432329
Уже года два как апи есть, молодца, хорошо сделали.

Пнд 24 Июн 2013 10:18:22
>>50432383
Ну заебись. Макаба будет оптимизированнее вакабы значится.

Пнд 24 Июн 2013 10:23:14
Прощальный бамп.
на работу чисти-чисти пошел на работу чисти

Пнд 24 Июн 2013 10:23:36
>>50430358
Если это не очередная реклама вишни, то хуйня полная.
- на что анон больше отвечает;
- от чего анон проигрывает;
- что анон считает толстым;
- что анон двачует;

Семёны тебе всю малину обосрут. А их куда более чем дохуя в "успешных" тредах. Сами петросянят, сами у себя двачуют с проглотом, сами на себя проигрывают с подливкой.

Пнд 24 Июн 2013 11:29:12
>>50432646
двачую

Пнд 24 Июн 2013 11:32:22
>>50432646
проиграл

Пнд 24 Июн 2013 11:32:45
>>50432646
цп процессоры что-ли?

Пнд 24 Июн 2013 11:35:05
>>50432646
толсто двачую цп процессоры? проиграл

Пнд 24 Июн 2013 11:40:50
>>50432646
два чаю

Пнд 24 Июн 2013 11:43:40
>>50432646
выводим в топ
проиграл
два чаю
цп

Пнд 24 Июн 2013 11:46:35
>>50432646
проигал в подливой
обосрался
цп
двачую
два чая
поддвачиваю

толсто

Пнд 24 Июн 2013 11:47:30
>>50432646
двачую

цп
толсто

Пнд 24 Июн 2013 11:48:09
>>50432646
толсто

Пнд 24 Июн 2013 11:52:04
>>50432646
проиграл
двачую канеш

Пнд 24 Июн 2013 11:53:20
>>50432646
два чая

двачую

Пнд 24 Июн 2013 11:53:46
>>50432646
двачую
цп
проиграл
толсто

Пнд 24 Июн 2013 11:55:48
>>50432646
двачую

Пнд 24 Июн 2013 11:56:32
>>50432646
два чаю
два чая
проиграл цп
толсто
толстота

Пнд 24 Июн 2013 11:57:02
>>50432646
двачую
два чаю
два чая

Пнд 24 Июн 2013 11:58:40
бесполезная хуита, Анон. Ничего личного. Потуги понятны - сделать, что-то новое. Но увы и ах! Ты, мой милый Анонимус obosralsia. И Ещё очень хорошо, что это был не понос. И дважды хорошо, что не кровавый понос.

Пнд 24 Июн 2013 11:59:05
>>50432646
азазаз двачая

Пнд 24 Июн 2013 11:59:45
>>50436407
иди нахуй. Отличная вещь. За исключением моего теста и некоторых семёнств позволяет узнать ТРЕНДЫ

Пнд 24 Июн 2013 12:02:52
>>50432646
двачую
два чаю
два чая

проиграл без подливы
обосрался

Пнд 24 Июн 2013 12:06:44
>>50432646
проиграл
двачую
два чая
два чаю

Пнд 24 Июн 2013 12:11:00
>>50432646
проиграл
обосрался

Пнд 24 Июн 2013 12:11:58
>>50432646
жирно
толсто
толстяк
зеленый

Пнд 24 Июн 2013 12:12:16
>>50432646
процессор
процессоры
цп

Пнд 24 Июн 2013 12:15:01
>>50432646
процессор

Пнд 24 Июн 2013 12:17:24
>>50432646
процессоры цп центральные процессоры

Пнд 24 Июн 2013 12:18:44
>>50432646
цп процессоры центральные

Пнд 24 Июн 2013 12:31:14
>>50432646
процессоры цп центральные процессоры
два чаю
два чая
толсто
толстый
жирный
жирная толстота

Пнд 24 Июн 2013 12:41:30
>>50430358
Толсто

Пнд 24 Июн 2013 12:56:05
>>50432646
бамп

Пнд 24 Июн 2013 12:58:41
>>50432646
двачую два чая
два чая
два чаю

цп процессор процессоры?

толстота толсто

Пнд 24 Июн 2013 13:04:57
>>50432646
два чая

Пнд 24 Июн 2013 13:11:06
>>50432646
процессоре чопе цопе модератор

Пнд 24 Июн 2013 13:23:10
>>50432646
два чаю
два чую
два чая

двачую

Пнд 24 Июн 2013 13:25:34
>>50430358
Проиграл

Пнд 24 Июн 2013 13:38:56
>>50432646
двачую
два чая тебе

Пнд 24 Июн 2013 13:40:26
Оп вернулся.

>>50432646
>Семёны тебе всю малину обосрут.
А вот и не обосрут. Семёнить ОЧЕ заёбно.

Пнд 24 Июн 2013 13:40:38
>>50432646
хули этот пост на твоём сайте не отображается, ОП?

Пнд 24 Июн 2013 13:42:37
>>50440844
А зачем его отображать?
тред утонул, из топа смыло

Пнд 24 Июн 2013 13:44:22
>>50440929
как это тред утонул?

пиздец, как? я же старался

Пнд 24 Июн 2013 13:46:51
>>50441006
Теперь в топе.

Пнд 24 Июн 2013 13:52:28
>>50432646
толсто
жирно
жирный
толстяк
зеленый

Пнд 24 Июн 2013 13:52:50
https://github.com/FoolCode/FoolFuuka

Пнд 24 Июн 2013 13:52:56
>>50432646
жирный
зеленый
зеленого
пухлый
толстота

Пнд 24 Июн 2013 13:53:34
>>50441410
Я хз, мопед не мой. Разве фулфука поддерживает архивацию внешних борд из коробки?

Пнд 24 Июн 2013 14:00:46
Пару лет назад ебался подобной хуитой. Качал треды, картинки. Сделал скриптик скачивающий все картинки, а не убожество с wget. Можно было прямо сделать фид картинок со всех разделов. Типа зашел а оно тебе качаит картинки по ажаксу. Потом еще выгребал из них экзифы, гаммы, детектил лица. Накачал пару гигов текста но никому это нахуй не нужно.

хтлм щас парсится перегоном в dom и xpath. Квери чтото вроде '//dev[@class=post]'. треды скачиваются чем о вроде gevent с такими то сотнями страничек в секунду. а Scrapy я например очень не советую. Тексты можно засунуть в полнотекстовый поиск (или прямо в постгресе или в сфинкс). Оно убивает склонения, множественные числа и можно грабить корованы. Но я не верю во все эти наурал ленгвич процессинги. Правда было забавно фильтровать посты по длинне. Если очень длинный пост - значит какаято душевная паста.
питонобог

Пнд 24 Июн 2013 14:05:18
>>50430358
Хуйня твои процессоры. Такой агркгатор не нужен.

Пнд 24 Июн 2013 14:05:27
>>50441761
>чем о вроде gevent с такими то сотнями страничек в секунду
Я также использую асинхронную скачку, но, лол, на потоках. Абу следить за нагрузкой борды и не даёт тебе качать много и сразу, так что ебаться со сторонними либами было бессмысленно.

>хтлм щас парсится перегоном в dom и xpath
Сейчас есть двачапи, всё через json

>Правда было забавно фильтровать посты по длинне. Если очень длинный пост - значит какаято душевная паста.
Добавлю такой раздел.

Пнд 24 Июн 2013 14:05:36
>>50430358
Как ни странно, но есть польза твоего ресурса. Зашел, осмотрел самые популярные вбросы.

Пнд 24 Июн 2013 14:11:05
>>50442006
Алсо, можешь попытаться интегрировать фильтры куклоскрипта.

Пнд 24 Июн 2013 14:14:49
>>50442006
>Я также использую асинхронную скачку, но, лол, на потоках. Абу следить за нагрузкой борды и не даёт тебе качать много и сразу, так что ебаться со сторонними либами было бессмысленно.
да ну нахуй потоки. пиздец же. Там же корутины, таймеры, пулы. можно задать строго конкурретность 2 например, можно задать число страниц в секунду. всё в одном потоке, никакой ебли с тредами, никаких колбеков.

>Сейчас есть двачапи, всё через json
Так пооди это же апи ПОИСКА. т.е. ты не можешь взять список тредов, и скачать их целиком. Это совсем не то...

Пнд 24 Июн 2013 14:17:47
>>50430358
Верни надпись "Ты че? Ебанутый? Ты че тут делашь?" внизу страницы.

Пнд 24 Июн 2013 14:22:07
>>50442534
>Там же корутины, таймеры, пулы.
Это оверинженерия, там не хайлоад нихуя.

Пнд 24 Июн 2013 14:22:49
>>50442722
Лол, я про неё забыл, братишка. Обязательно верну надпись.

Пнд 24 Июн 2013 14:30:56
>>50443276
php has no games

Эрланг рулит, но сделал всё равно на питоне.

Пнд 24 Июн 2013 14:31:33
>>50442970
Причём тут хайлод блядь. Речь о контроле. Вот у опа как раз оверинженирия: пул тредов, велосипедные очереди, локи. Всегда так с кодерками. И почему вы такие неверующие ? Попробовал бы лучше сначала.

Пнд 24 Июн 2013 14:33:03
>>50443383
жопа классная
php-кун

Пнд 24 Июн 2013 14:34:07
>>50444125
православие топ тиер. фак е

Пнд 24 Июн 2013 14:51:47
>>50430358
Нахуя?

Пнд 24 Июн 2013 15:00:32
>>50444786
чтобы общаться быстро и удобно, например

Пнд 24 Июн 2013 15:04:06
>>50444842
Я и так общаюсь быстро и удобно и сзнаю всю эту залупу, что оп перечислил, без всяких скриптов.

Пнд 24 Июн 2013 15:10:19
>>50445015
>сзнаю всю эту залуп
Лол, я в этом уверен.

Пнд 24 Июн 2013 15:11:34
>>50445429
Самое лучшее видео с ней на facialabuse. Когда она плачет и у нее дрожат губки, то всегда кончаю.

Пнд 24 Июн 2013 15:27:33
>>50446150
Соус!

Пнд 24 Июн 2013 15:28:34
>>50446150
>Когда она плачет и у нее дрожат губки, то всегда кончаю.
Добро пожаловать, снова.

Пнд 24 Июн 2013 15:31:04
>>50446330
Ват?

Пнд 24 Июн 2013 15:38:35
>>50446450
>Ват?
ты понимаешь, что ты уже всё поехавший?

Пнд 24 Июн 2013 15:56:51
>>50441410
Автор статей, текстов и постов на связи. Система у них интересная, но очень уж ресурсоемкая. Держать свой мини-ДЦ ради такого - нахуй надо. Чем дешевле, тем дольше продержится если бекапить не забывать.

Пнд 24 Июн 2013 16:44:28
>>50449375
>Нужно больше анализа
У меня есть ряд идей, на этой недели опробую.

Пнд 24 Июн 2013 18:26:43
>>50450275
Например? Кол-во переходов с ВК можешь? Где фидбэк оставлять? Можешь сортировать доски по полпулярности(кол-во уников/кол-во постов/кол-во тредов) и не просто так, а с выбором определенных интервалов: типа за день/неделю/месяц/год(в тематике есть треды с длиной больше года)?

ты не йоба73?

Пнд 24 Июн 2013 18:38:56
>>50456265
TI NE ODIN

Пнд 24 Июн 2013 18:41:09
>>50456281
>Например?
Скоро покажу же, лол.

>Где фидбэк оставлять?
Отправить мне фидбек можно по почте, ящик внизу страницы.

>Можешь сортировать доски по полпулярности
Популярность не часто плавает, пока не вижу смысла сортировать доски.

>типа за день/неделю/месяц/год
Ничего не храню, что смывается отправляется в Лету. базу не прикрутил ещё, лол

>ты не йоба73?
нет


← К списку тредов