Статистика по форуму + графики.

[mazzy]

Если честно, то очень меня смутил подход к построению статистики, высказанный в Интересное наблюдение
На мой взгляд, это бред какой-то все сообщения пользователя относить на дату его регистрации и делать выводы на основании такого предположения.

Поэтому решил дать исходные данные для людей, которые хотят заняться исследованием и анализом форума.
Извините, что данные приведены в формате для Excel 2007, а не в формате более ранних экселей - просто число сообщений составляет более 200тыс. Хотелось выложить информацию обо всех постах (за исключением скрытых).

Внимание: в данных удалена вся персональная информация (email, ip-адреса и т.п.). А также удалена информация из скрытых разделов (совет модераторов, технические разделы, разделы для групп). Оставлена только та информация, которая может быть получена любым гостем форума (плюс инфа о наличии удаленных сообщений и тем)

А также добавил некоторую статистическую информацию и некоторые графики.

Буду рад видеть ваши интересные исследования и результаты ваших анализов.

[mazzy]

Некоторая статистика приведена на рисунке ниже.


Комментарии:

1. было выявлено, что некоторые пользователи, создавшие сообщения, были удалены. Причины пока непонятны. Скорее всего, технические баги. Для таких сообщений в данных указан 0 в качестве автора, а на форуме показывается первоначальное имя автора. Таких сообщений - 440. Пострадавшим приношу свои извинения.
2. кроме того, выявлены непонятные сообщения в 2001 году от автора, который зарегистрирован в 2002 году. Предполагаю, что это результат каких-то программистских манипуляций с базой. С тех пор как я стал администратором форума, подобных манипуляций мы не делали. И в будущем не собираемся делать ничего подобного.

я считаю, что анализ вполне можно проводить по обычным сообщениям и обычным темам удаленными темами. Поскольку удаленные темы и сообщения составляют менее 5% от общего числа. Как правило удаленные темы и удаленные сообщения - это спам.

Есть одно-два исключения, когда удалялся срач типа "Гамлетов и Парусники" (кто вспомнит - хорошо, а не вспомнит, так и не надо). Хочу отметить, что "Гамлеты и парусники" собрали максимальное число голосов в опросе (453 голоса) - большинство высказалось за удаление этой темы. Тема была "мягко" удалена.

Дальнейший анализ выплонялся с фильтром "Visible = 1".

[mazzy]

Теперь немного графиков в опровержение вывода Lucky13, изложенного в теме Интересное наблюдение

Цитата:

Сообщение от Lucky13

Получается, что с каждым годом растет количество пользователей, которые "приходят и уходят", а количество постоянных уменьшается.

ключевой ошибкой Lucky13, на мой взгляд, является то, что он относит все сообщения участника на дату регистрации этого участника. В результате получается непойми что. Например, я зарегистрирован в 2001 году. За 9 лет создал более 15тыс.сообщений. Неужели все эти сообщения относить на 2001 год?

Я построил сводную таблицу, которой приводится относительное число постов в зависимости от года регистрации (по вертикали) и года публикации (по горизонтали).

Год 2010 еще не закончен. Чтобы четко следить за закономерностями и не вводить спорные поправочные коэффициенты, я отфильтровал и показал данные за полные года - с 2001 по 2009.



Как видно, значения в рядах примерно одинаковы. Это значит, что каждое "поколение" участников создает примерно равное число сообщений в каждый год.

Представление в виде стеков


Или в виде линейного графика (напомню, что здесь - % от числа сообщений)


======
те же самые данные с абсолютными значениями.


стеки


или график числа сообщений в зависимости от года регистрации (серии) и года создания сообщения (по горизонтали).


Обратите внимание на интересную закономерность, которая хорошо видна на последнем графике: участники пишут больше на второй год после регистрации. Причем для участников, зарегистрированных в 2003 году, это заметно очень сильно. А вот у участников, зарегистрированных позже, эта закономерность затухает.

======
Буду рад, если вы проведете свои исследования.

[Evgeniy2020]

Спасибо.

а как если сравнить в общем массе по количеству сообщений в день
взять это количество суммарно за месяц

например Август
1.08 20 сообщений
2.08 25 сообщений
...
просуммировать и Август 2010 = 600 сообщений
и сравнить

Август 2009
Август 2008
Август 2007..

визуально кажется что новых веток становится меньше в день чем в предыдущих годах (но я могу ошибаться)

просто стараюсь понять ведь источник пополнения сообщений форума это
1. Новости Анонсы Блоги
2. Вопросы о каких то частях функциональности
3. Проблемы в каких то частях Аксапты

тогда если ax 2009 будет работать стабильно без ошибок,
и куча вещей уже описана на форуме, и у всех все будет работать стабильно и понятно.
то количество новых веток 2. и .3 сократится.

вот и пытаюсь по статистике понять какова подпитка новыми темами у форума, попдитка сокращается или остается на уровне по сравнению с предыдущими годами.

[mazzy]

Цитата:

Сообщение от Evgeniy2020

если сравнить в общем массе по количеству сообщений в день
взять это количество суммарно за месяц

1. возьмите, 2. сравните.
в самом первом сообщении этой ветки есть исходные данные для тех, кто хочет собрать свою статистику.

Пожалуйста, поделитесь результатами.

также смотрите здесь Интересное наблюдение

Цитата:

Сообщение от Evgeniy2020

визуально кажется что новых веток становится меньше в день чем в предыдущих годах (но я могу ошибаться)

Ошибаетесь.
Это традиционная августовская тема - все плохо, форум уже не торт.
Похоже все в отпуск ушли. Одновременно
Снизилась активность. Виновата репутация?
и так далее

Цитата:

Сообщение от Evgeniy2020

просто стараюсь понять ведь источник пополнения сообщений форума это
1. Новости Анонсы Блоги
2. Вопросы о каких то частях функциональности
3. Проблемы в каких то частях Аксапты

Берите в зубы исходные данные - там есть инфа о разделах - вперед.
Не забудьте поделится результатами.

Цитата:

Сообщение от Evgeniy2020

тогда если ax 2009 будет работать стабильно без ошибок,
и куча вещей уже описана на форуме, и у всех все будет работать стабильно и понятно.
то количество новых веток 2. и .3 сократится.

типа, если нет отлика, то либо все идеально (что вряд ли), либо народ просто еще даже не брался

Ну, кроме количества сообщений, есть число регистраций, а также число упоминаний продукта в интернете
Читал пейджер. Много думал

Будем ждать результатов ваших исследований.

[mazzy]

Цитата:

Сообщение от Evgeniy2020

Спасибо.

а как если сравнить в общем массе по количеству сообщений в день
взять это количество суммарно за месяц

Вот общее количество сообщений.


Вот график, совмещенный по месяцам.


интересная закономерность.
летний провал впервые появился в 2005 году (в июле)
в 2006 году провал был в сентябре
в 2007 году провал был в сентябре, октябре
далее провал появляется в августе
Вот график за 2008, 2009, 2010 годы (напомню, что в августе 2010 статистика берется за полмесяца):


Вот график за все года, но с анимацией (щелкните по графику, чтобы увидеть анимацию. нужна регистрация).

[mazzy]

Цитата:

Сообщение от Evgeniy2020

просто стараюсь понять ведь источник пополнения сообщений форума это
1. Новости Анонсы Блоги
2. Вопросы о каких то частях функциональности
3. Проблемы в каких то частях Аксапты

построил и такой график.

в абсолютных и относительных значениях (напомню, что 2010 - неполный год):


те же самые графики с точностью до месяца сообщения
в абсолютных и относительных значениях (напомню, что август 2010 - неполный месяц):


блоги - это сумма блогов как по аксапте, так и по CRM.

выводы:
аксапта - основной источник новых сообщений (50-60% от всех сообщений)
crm - растет хорошо (15-20% от всех сообщений). но запуск соответствующих разделов разделов на течнете сильно перетянул аудиторию по MS CRM
блоги - дают не такое уж и большое число сообщений (5-8% от всех сообщений)
вакансии - в 2003..2007 с вакансиями было намного лучше чем сейчас (было до 10%, сейчас около 5%)
прочее - более-менее стабильный раздел.

[mazzy]

Спасибо, Lucky13, что дал тему для исследований.

Цитата:

Сообщение от Lucky13

Получается, что с каждым годом растет количество пользователей, которые "приходят и уходят", а количество постоянных уменьшается.

В этот раз будут данные по тем, кто "приходит и уходит".

Те, кто "приходит" - это те, кто регистрируется.
Здесь все просто - Анализируем по дате регистрации.

Те, кто "уходит" - анализируем по дате последнего визита.
Если дата последнего визита совпадает с датой анализируемого периода, то считаем, что в этот период человек "ушел".
Например, если анализируем 2002 год, и дата последнего визита также равна 2002 году, то считаем что именно в этот год человек "ушел".



многие уходят. и это нормально.
но, как видим, остается все большее число участников.

Здесь хочу обратить внимание, что Lucky13 вынужден был выполнять косвенный анализ. Он ввел понятие "постоянный" участник - это участник который писал много сообщений (причем неважно в какой период). А здесь выполняется непосредственный анализ по дате регистрации и по дате последнего визита.

================
теперь можно провести более интересные исследования.
попробуем узнать как быстро "уходят" участники.
примем первый период за 100%, посчитаем остальные периоды как процент от первого.

например, анализируем 2004 год
в 2004 год пришло 1306 участников,
в 2004 год ушло 751 участник - 58% от пришедших в 2004 году
в 2005 год из этого набора ушло 203 участника - 16% от этого набора, 27% от ушедших в прошлом году



видим, что в первый период "уходит" много участников. это нормально - случайные люди, спамеры.
видим, что во во второй период "уходит" в разы меньше участников.
видим, что чем дольше участник на форуме, тем меньше вероятность его ухода

причем, начиная с 4 года число уходящих стабилизируется, "уходит" примерно 3-5% из набора.

хотелось бы обратить внимание на сумму у нижней таблицы. там показан общий процент ушедших по отношению к пришедшим. как ни странно - максимальный "уход" - 93% - был в 2003 году. В последние года, уходит меньше. Что напрочь рабивает предположения Lucky13. А вот почему уходит меньше? И почему пик ухода был в тучный 2003 год?... Непонятно. будем посмотреть в следующие годы.

[Lucky13]

Вы анализируете приходящих и уходящих за определенный период (год), а потом сравниваете периоды. Я делал не так.
Возьмем, например, 2001 год и вычислим сколько пришло и ушло в этот год как делаете Вы. Получим какое-то количество участников, которые остались. Из них кто-то покинет форум в 2002 году, кто-то в 2003 и так далее. Останется некоторый процент участников, которые последний раз посещали форум в 2010 году, у них наибольшая вероятность, что они придут на форум снова. Если проделать то же самое с другими годами, то получим некий разрез участников, которые посещают форум. Именно посещают сейчас, а не посещали когда-либо. В этом принципиальное отличие от вашего исследования.

[mazzy]

Цитата:

Сообщение от Lucky13

Останется некоторый процент участников, которые последний раз посещали форум в 2010 году, у них наибольшая вероятность, что они придут на форум снова. Если проделать то же самое с другими годами, то получим некий разрез участников, которые посещают форум. Именно посещают сейчас, а не посещали когда-либо. В этом принципиальное отличие от вашего исследования.

все равно не понимаю ваш подход в вашем исследовании.
здесь правая колонка в графиках показывает такой разрез. а в таблице нижняя строка. ну, примерно поровну и что?





а в целом, есть смотреть строку Grand Total в таблице за все года активности, те кто зарегистрировался раньше, успел написать в среднем больше сообщений. И что, опять же?

я не критикую, честно-честно.
я понять хочу суть вашей методики, вдруг в ней что-то есть?

[mazzy]

продолжаем анализ (уж извините, но данные действительно интересные)

кажется я нащупал соль методики Lucky13.

итак, есть число постов и число пишущих (да, я их посчитал в каждом периоде)

Обратите внимание, что сообщения по столбцам суммировать можно.
А вот пишуших по столбцам суммировать нельзя! по столбцам вычисляется максимум!

можно легко посчитать среднее число постов для каждого "набора/призыва/поколения"


вот она - гуманитарная катастрофа! в каждом "призыве", начиная с 2005 года все меньше и меньше пишущих! и на каждого пишущего начиная с 2001 года приходится все меньше и меньше сообщений! караул!

а число пишуших в первый год в поколении 2009 уменьшилось вдвое по сравнению с предыдущими поколениями (384 против 795).

но мне кажется, что неправильно анализировать по поколениям (на основании даты регистрации). меня нещадно ругали и минусовали, когда я пытался провести мысль "недавно зарегистрированные на форуме вряд ли являются опытными в предметной области".

чтобы получить другую точку зрения, достаточно получить сумму по строкам.

Обратите внимание, что по строкам вполне можно вычислять сумму сообщений, так и сумму пишуших.

и среднее по строкам


получается, что все поколения в сумме каждый год (строка) дают примерно одинаковое количество контента. в 2009 число сообщений снизилось. но среднее число сообщений на одного пишущего пользователя - примерно постоянно.

не знаю хороши эти результаты или плохи. и не знаю пока что с этим делать. надо подумать.

[Evgeniy2020]

Прекрасная аналитика. Хороший бэкграунд для управленческих решений.
Спасибо за прекрасную работу. а сколько времени ушло чтобы построить эту аналитику (в часах)?


Вывод действительно по графикам видно снижение активности чуть ли не до уровня 2002 года.
Вывод всЕ всЁ знают об Аксапте, у всех она прекрасно работает, все отдыхают.
Возможно осенью когда пойдет волна миграции появятся и сообщения.
В целом когда система прекрасно работает и хорошо документирована ею принято пользоваться, а не говорить о ней.
Прекрасная система просто работает и ей прекрасно пользуются.

Поэтому в будущем скорее всего было здорово описывать архитектуру решений, лучшие практики использования и отдачи, о новых методах помогающих бизнесу, как лучше всего использовать новые технологии и что это дает на практике. Правда это может быть похоже на cnews. Может быть даже интервью и описания case случаев в Аксапте. например встретились со сложностями успешно решили их при помощи ах 2009 и вот теперь как это прекрасно выглядет. материалы как ах 2009 прекрасно помагает бизнесу.
Может быть новый раздел об архитектуре, моделировании, инфраструктуре. Чтобы привлечь и архитекторов и директоров ит, аналитиков.

прошу прощения за аналогии.
раньше был коллективный Москвич 412 который имел кучу проблем.
и все дружно коллективно в одном гараже решали проблемы. то recid не хватало,
то еще какие то проблемы.
когда же в 2010 ом вместо москвича получился BMW X5
в коллективном гараже стало меньше проблем. многое заработало как надо.
потому что многое заработало так как должно.

Такие графики вообще классно сделать буклетом и отпечатать на цветном принтере. Вот если бы еще такие же графики получить и по другим разным направлениям в сфере высоких технологий ИТ.

[mazzy]

Цитата:

Сообщение от Evgeniy2020

Спасибо за прекрасную работу. а сколько времени ушло чтобы построить эту аналитику (в часах)?

Выбрать данные из таблиц? минут 10, чтобы загрузить. минут 10, чтобы выкинуть личную информацию, скрытые разделы, темы и сообщения.
минуты 2 на каждый график, минут по 20 на каждое сообщение.

Цитата:

Сообщение от Evgeniy2020

Вывод действительно по графикам видно снижение активности чуть ли не до уровня 2002 года.

БЛИН! да как же вы выводы то такие делаете?
Я понимаю у Lucky13 данных не было. И он все сообщения участника, которые участник написал за много лет, относил на год регистрации...
А вы то каким образом? пожалуйста, приведите скриншот и покажите стрелочкой что вы называете "активностью" и где это она снизилась "до уровня 2002 года"?
Безумно интересно, где это я настолько невнятно выразился, что меня можно понять с точностью до наоборот.

Цитата:

Сообщение от Evgeniy2020

Поэтому в будущем скорее всего было здорово описывать архитектуру решений, лучшие практики использования и отдачи, о новых методах помогающих бизнесу, как лучше всего использовать новые технологии и что это дает на практике. Правда это может быть похоже на cnews. Может быть даже интервью и описания case случаев в Аксапте. например встретились со сложностями успешно решили их при помощи ах 2009 и вот теперь как это прекрасно выглядет. материалы как ах 2009 прекрасно помагает бизнесу.

не понимаю. давайте на примерах.

Цитата:

Сообщение от Evgeniy2020

Может быть новый раздел об архитектуре, моделировании, инфраструктуре. Чтобы
привлечь и архитекторов и директоров ит, аналитиков.

Я просто шизею с таких утверждений. Типа "вы коньяк перестали пить по утрам?"

А с чего вы взяли, что здесь нет архитекторов, директоров ит, аналитиков?
Портрет участника 2009
Портрет участника 2009: Ваша специализация (можно выбрать несколько вариантов)

Цитата:

Сообщение от Evgeniy2020

Такие графики вообще классно сделать буклетом и отпечатать на цветном принтере. Вот если бы еще такие же графики получить и по другим разным направлениям в сфере высоких технологий ИТ.

делайте. печтатайте. раздавайте.
не забудьте указать ссылку на http://axforum.info

[Evgeniy2020]

Цитата:
Сообщение от Evgeniy2020 Вывод действительно по графикам видно снижение активности чуть ли не до уровня 2002 года.


БЛИН! да как же вы выводы то такие делаете?
Я понимаю у Lucky13 данных не было. И он все сообщения участника, которые участник написал за много лет, Lucky13 относил на год регистрации...
А вы то каким образом? пожалуйста, приведите скриншот и покажите стрелочкой что вы называете "активностью" и где это она снизилась "до уровня 2002 года"?
Безумно интересно, где это я настолько невнятно выразился, что меня можно понять с точностью до наоборот.

Легко,
привожу ваш же скриншот ))
http://axforum.info/forums/attachmen...1&d=1282685903



на графике видно шо сиреньковое с ромбиками это 2010 ый год н.э.
а красненькое с квадратиками это 2002 ой год н.э.

над циферкой 8 видимо 8го по счету месяца именуемым августом

неожидано сиреньковое с ромбиками приближается к красненькому с квадратиками, что в переводе на русский означает
по графикам видно снижение активности чуть ли не до уровня 2002 года.

am i right?

[mazzy]

Цитата:

Сообщение от Evgeniy2020

Легко,
привожу ваш же скриншот ))
http://axforum.info/forums/attachmen...1&d=1282685903



на графике видно шо сиреньковое с ромбиками это 2010 ый год н.э.
а красненькое с квадратиками это 2002 ой год н.э.

над циферкой 8 видимо 8го по счету месяца именуемым августом

неожидано сиреньковое с ромбиками приближается к красненькому с квадратиками, что в переводе на русский означает
по графикам видно снижение активности чуть ли не до уровня 2002 года.

am i right?

No, you are not.

1.
Цитирую себя же:

Цитата:

Сообщение от mazzy

Вложение 6072
(напомню, что в августе 2010 статистика берется за полмесяца):

август - не смотрите. значение в конце августа 2010 будет совсем другим. Напомню, что график строился 15 августа, а сегодня - 28 августа (август еще не кончился).

2.
предположим, вы опечатались и имели в виду 2003 год.
в 2003 году в июле, августе, сентябре был аномальный подъем активности.
аномальный в том смысле, что в другие годы он не повторился.
а в 2009 году был традиционный летний спад активности, который повторяется уже несколько лет.

сравнивать традиционный спад с аномальной активностью без дополнительных объяснений и комментариев... мягко скажем - некорректно.

3.
а теперь самое главное.
вы увидели что июль-август 2009 меньше июля-августа 2003.
говорить о целом годе ("снижение активности чуть ли не до уровня 2002 года") на основании данных двух месяцев даже более чем некорректно. Либо высказывающийся не понимает, либо сознательно лжет. Даже не знаю что хуже.

[mazzy]

Цитата:

Сообщение от mazzy

No, you are not.
...
Либо высказывающийся не понимает, либо сознательно лжет. Даже не знаю что хуже.

уже приведенный график с линиями, которые подтверждают ложность высказывания "снижение активности чуть ли не до уровня 2002 года":


ладно бы 2003. но в 2003 был аномальный подъем в летние месяцы.

повторю свой вывод:

Цитата:

Сообщение от mazzy

получается, что все поколения в сумме каждый год (строка) дают примерно одинаковое количество контента. в 2009 число сообщений снизилось. но среднее число сообщений на одного пишущего пользователя - примерно постоянно.

не знаю хороши эти результаты или плохи. и не знаю пока что с этим делать. надо подумать.

[Evgeniy2020]

Согласен.
не увидел что статистика за август (за пол месяца)
поэтому лучше эту статистику по месяцам годам (где сразу в разрезе нескольких годов) посмотреть на 1ое сентября.
но есть о чем задуматься все же, предыдущие года выглядят реально бумом.

конечно будет интересно увидеть статистику в октябре ноябре (думаю как раз волна переходов с 2.5, 3 на ax 2009)

[mazzy]

Цитата:

Сообщение от mazzy

Вот общее количество сообщений.
Вложение 6075

Вот график, совмещенный по месяцам.
Вложение 6072

интересная закономерность.
летний провал впервые появился в 2005 году (в июле)
в 2006 году провал был в сентябре
в 2007 году провал был в сентябре, октябре
далее провал появляется в августе

Данные, включая полный август 2010:

[kashperuk]

Интересно, а можно посмотреть кол-во постов по периодам для конкретного участника, к примеру меня?

[mazzy]

Цитата:

Сообщение от kashperuk

Интересно, а можно посмотреть кол-во постов по периодам для конкретного участника, к примеру меня?

легко.
исходные данные в начале ветки