apt.ru
Timeweb — компания, которая размещает проекты клиентов в Интернете, регистрирует адреса сайтов и предоставляет аренду виртуальных и физических серверов. Разместите свой сайт в Сети — расскажите миру о себе!
Виртуальный хостинг
Быстрая загрузка вашего сайта, бесплатное доменное имя, SSL-сертификат и почта. Первоклассная круглосуточная поддержка.
от 196 руб руб. / мес
Аренда VDS и VPS
Виртуальные серверы с почасовой оплатой. Меняйте конфигурацию сервера в любой момент и в пару кликов.
МЕТОДЫ И ИНСТРУМЕНТЫ АНАЛИЗА ТРАФИКА НА ВЕБ-СЕРВЕРЕ Текст научной статьи по специальности «Компьютерные и информационные науки»
Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Филимонов Олег Игоревич
В статье дан обзор методов и инструментов анализа вэб-трафика, формирующий представление о различных подходах аналитиков к изучению информации, предоставляемой трафиком. Эта информация позволяет выявить не только характеристики трафика (такие как его объем и интенсивность, сроки предоставления услуги и др.), но и широкий спектр потребительских и даже психологических свойств пользователей сети (частота посещения сайта, интересы, коммуникабельность, платежеспособность и пр.). Такая информация важна для маркетологов, менеджеров и оценщиков бизнеса. Она необходима для улучшения структуры сайта, разработки стратегии развития виртуального бизнеса и повышения его эффективности. Исследование проводится с использованием сравнительного анализа, результаты которого позволяют вэб-аналитику в каждом конкретном случае, зная преимущества и недостатки каждого метода и его инструментов, использовать именно тот метод (или совокупность методов), который даст наилучший результат для изучения особенностей функционирования различных видов виртуального бизнеса, в частности, виртуальных бирж. Проблема использования инструментов анализа веб-трафика становится более сложной, когда объем веб-трафика огромен, что делает задачу его анализа весьма важной и актуальной.
i Надоели баннеры? Вы всегда можете отключить рекламу.
Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Филимонов Олег Игоревич
Методы сбора информации о посетителях корпоративного веб-сайта
Исследование возможностей веб-аналитики
Инструментарий Google Analytics и его практическое использование в туристическом бизнесе
КОНФИДЕНЦИАЛЬНОСТЬ ПЕРСОНАЛЬНЫХ ДАННЫХ О ПОВЕДЕНИИ ОНЛАЙН-ПОЛЬЗОВАТЕЛЕЙ
Уменьшение нагрузки на сервер средствами CMS Drupal
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.
Текст научной работы на тему «МЕТОДЫ И ИНСТРУМЕНТЫ АНАЛИЗА ТРАФИКА НА ВЕБ-СЕРВЕРЕ»
УДК 004.042 РС! 10.21661/Г-554668
Методы и инструменты анализа трафика на веб-сервере
В статье дан обзор методов и инструментов анализа вэб-трафика, формирующий представление о различных подходах аналитиков к изучению информации, предоставляемой трафиком. Эта информация позволяет выявить не только характеристики трафика (такие как его объем и интенсивность, сроки предоставления услуги и др.), но и широкий спектр потребительских и даже психологических свойств пользователей сети (частота посещения сайта, интересы, коммуникабельность, платежеспособность и пр.). Такая информация важна для маркетологов, менеджеров и оценщиков бизнеса. Она необходима для улучшения структуры сайта, разработки стратегии развития виртуального бизнеса и повышения его эффективности. Исследование проводится с использованием сравнительного анализа, результаты которого позволяют вэб-аналитику в каждом конкретном случае, зная преимущества и недостатки каждого метода и его инструментов, использовать именно тот метод (или совокупность методов), который даст наилучший результат для изучения особенностей функционирования различных видов виртуального бизнеса, в частности, виртуальных бирж. Проблема использования инструментов анализа веб-трафика становится более сложной, когда объем веб-трафика огромен, что делает задачу его анализа весьма важной и актуальной.
I Ключевые слова: вэб-сервер, интернет-трафик, журнал трафика, методы и инструменты анализа трафика.
Существуют различные модели и инструменты для обнаружения и анализа полезных знаний из доступных данных трафика. Они предлагают аналитикам большие возможности для составления отчетов о результатах анализа. Этот анализ используется в первую очередь для получения общего представления о том, что произошло на веб-сайте. Веб-мастерам и системным администраторам часто нужна информация, обычно для целей управления веб-сайтом: сколько трафика они получили, на сколько запросов не удалось ответить, и какие ошибки были при этом сгенерированы.
На эту тему проводился ряд исследований [10, с. 171-193; 18, с. 900-907; 22], в результате которых изучены некоторые из таких инструментов. Каждый инструмент предлагал ту или иную функцию, которая реализуется им лучше остальных. Большинство доступных в настоящее время инструментов анализа трафика веб-сервера предоставляют и статистическую информацию.
Далее предлагается сравнительное исследование различных методов анализа и инструментов измерения трафика на веб-сервере (подробный анализ сущности понятия «трафик», его особенностей, а также вопрос формирования классификаций видов трафика проводится в статье автора [1]).
А. Анализ файла журнала веб-сервера HTTP. Технология анализа журналов веб-сервера HTTP — самая старая технология, разработанная в 1995 году [4]. Дадим ее описание.
При посещении веб-сайта пользователь подключается к веб-серверу, который обслуживает файлы, запрашиваемые пользователем. Веб-сервер непрерывно записывает свой HTTP-трафик (все HTTP-запросы и ответы) в журнал, который создает текстовый файл (одна запись для каждого запроса файла) для записи конкретного действия, причем каждый текстовый файл состоит из файла веб-журнала для этого веб-сервера. Информация в файле журнала обычно зависит от того, какой веб-сервер их генерирует. Как правило, разные веб-серверы поддерживают разные форматы журналов.
В журналах веб-сервера хранятся записи о потоках кликов, которые могут быть полезны для целей анализа веб-трафика [17, с. 17-21]. Это файлы в виде простого текста, которые содержат информацию об имени пользователя, его IP-адресе, отметке времени, запросе доступа, количестве переданных байтов, URL-адресе, на который ссыпается пользователь, а также о кодах ошибок (если они есть) и т. д.
Данные веб-сервера — это фактически журналы пользователей, которые позволяют аналитику отслеживать и анализировать поведение пользователей, посещающих веб-сайт.
Файлы веб-журнала сервера предоставляют ценную информацию об использовании веб-сайта. Основываясь на этих данных, можно выявить [4]:
— количество сделанных запросов («обращений»);
— сколько всего файлов успешно обслужено;
— количество запросов по типу файлов (например, просмотров HTML-страниц);
— обслуживаемые IP-адреса и количество сделанных запросов;
— количество запросов по кодам состояния HTTP (успешные, неудачные, перенаправленные, информационные);
— ссылки на страницы данного сайта;
— браузеры и версии, отправившие запросы.
Из файлов веб-журнала можно получить и некоторые данные расширенного анализа [4]. Этот анализ может ответить на следующие вопросы:
1) кто посетил данный сайт? данные сеанса помогут определить, возвращается ли уникальный посетитель на данный сайт или нет;
— какие группы пользователей получают доступ к веб-сайту?
— какие ресурсы просматриваются чаще всего?
2) по какому пути (ссылкам) посетители переходят на сайт? зная каждую страницу, которую просматривал посетитель, и порядок просмотра страниц, можно определить тенденции перемещения посетителей по страницам, и какой элемент html (ссылка, значок и изображение) посетитель нажимал на каждой странице, чтобы перейти на следующую страницу;
3) сколько времени посетитель провел на каждой странице? по продолжительности пребывания большинства посетителей на странице можно определить, интересна она или нет;
4) где посетитель покинул сайт? последняя страница указывает на место завершения посещения. это может быть страница, которая не понравилась посетителю, — поэтому он захотел покинуть сайт;
5) какова была степень успешности взаимодействия пользователей с сайтом? чтобы выяснить это, можно посмотреть, сколько покупок было совершено и сколько загрузок было завершено.
Эта информация о трафике собирается и отправляется сборщику трафика, который затем пересылает ее анализатору. Лог-анализатор веб-сервера создает отчеты со сводной статистикой о веб-сайте. Он использует информацию из файлов журналов сервера, тем самым помогает обрабатывать большой объем сведений, касающихся трафика на веб-серверах.
Традиционно существует четыре типа журналов сервера:
— журнал реферера (реферер — это строка заголовка HTTP-запроса, в которой содержится информация о странице, с которой клиент перешел на данный сайт. Анализируя, откуда идет трафик, владелец сайта получает представление о том, откуда на его сайт перешло больше пользователей).
Первые два считаются стандартными, а два других журнала используются для анализа не всегда [14].
Каждая запись журнала регистрирует переход от одной страницы к другой, сохраняя IP-адрес пользователя и всю связанную с этим информацию [5].
Если журнал используется правильно, это может быть очень полезно для изучения процесса превращения посетителей веб-сайтов в клиентов виртуального бизнеса. Он помогает аналитику определить схему навигации пользователя, то есть. какие страницы часто посещает пользователь, какие ошибки возникают у пользователя и т. д.
Процесс анализа производительности сервера начинается со сбора файлов журналов, охватывающих определенный период времени, поскольку чтобы понять тенденции трафика, необходимо изучить журналы за определенный период. Инструменты веб-анализатора журналов являются частью программного обеспечения веб-аналитики. Они воспринимают файл журнала доступа к веб-сайту в качестве входных данных, анализируют его и генерируют отчеты в качестве результата анализа. Эти инструменты предоставляют аналитику всевозможную информацию, начиная от количества посещений сайта и заканчивая количеством посетителей, заходящих на сайт, и браузерами, которые они используют, а также продолжительностью их пребывания на сайте и др. Действительно, файлы журнала могут быть очень большими, и в них подробно указывается, какие файлы были запрошены из сети. Каждый раз, когда страница, изображение, фильм или любой другой файл загружается с веб-сервера пользователя, дата/время и IP-адрес отправителя запроса регистрируются в файле журнала веб-сервера.
Примечание: речь идет о таких инструментах как [11, с. 29-33; 21]:
1) Google Analytics — это бесплатная утилита, предоставляемая Google, которая помогает отслеживать уникальных посетителей. Она также помогает определить, какие предлагаются лучшие маркетинговые пакеты. Для использования этого инструмента установка не требуется, требуется только учетная запись Google. Средство создания отчетов по электронной почте доступно в Googleanalytics;
2) AWStats: доступно бесплатно. Этот инструмент работает как сценарий CGI или из командной строки. Он отображает всевозможную информацию, содержащуюся в журнале;
3) WebLogExpert — это еще один инструмент для анализа журналов доступа к сети, который обеспечивает их тщательный анализ. Он предоставляет аналитику конкретную и точную информацию о пользовательской статистике, но требуется создание профиля;
4) Аналог — это простой в использовании и устанавливаемый свободно доступный инструмент анализа журналов. Он очень быстрый, хорошо масштабируемый, работает с любой операционной системой и прост в установке.
Следует отметить, что первоначальная цель файлов журнала — производить статистику производительности на уровне сайта. Сначала они использовались IT-администраторами как способ обеспечить адекватную полосу пропускания и емкость сервера на веб-сайтах своих организаций. Однако в последние годы компании электронной коммерции значительно развили этот подход, собирая файлы журналов для получения подробной информации о профилях посетителей и их покупательной деятельности и узнавая об удобстве использования своих веб-сайтов (то есть о том, насколько успешно они достигают своих целей, и насколько посетители удовлетворены) [22].
Преимущества анализа файлов веб-журнала. Веб-сервер естественным образом фиксирует фактические данные об использовании сайта в своей рабочей среде. Файл веб-журнала отражает действия большинства посетителей данного сайта в течение потенциально длительного периода времени. Поэтому для инженеров веб-дизайна чрезвычайно важно проводить оценку удобства использования сайта.
Проблемы с анализом файла веб-журнала. Инструменты анализа веб-сайта обычно импортируют данные файла журнала во встроенную базу данных, которая, в свою очередь, преобразует данные в удобочитаемые графические отчеты для различных целей. При этом файлы журналов веб-сервера содержат много информации [20]. Так, файл журнала размером в один мегабайт (1 МБ) обычно содержит около 4000-5000 запросов страниц. Тем самым, процесс передачи и обработки информации сложен и требует много времени, поскольку некоторые данные журнала являются сокращенными и непонятными, а значит, в этом случае они не могут предоставить точную и эффективную информацию об удобстве использования данного сайта.
Отмечают еще две проблемы [21], которые затрудняют анализ файла журнала как индикатора использования. Так:
— иногда отслеживаемых данных в файле журнала недостаточно, что может быть вызвано отсутствием определенных типов данных об использовании сайта, которые должны были бы регистрироваться.
— в файл журнала могут попасть посторонние данные.
Эти проблемы приводят к недостаточной, необоснованной и вводящей в заблуждение информации, что не позволяет отвечать на большинство вопросов, сформулированных выше, необходимых для расширенного анализа.
Отметим также ряд технических недостатков применения метода анализа файла веб-журнала, которые состоят в следующем:
— файл журнала не может отслеживать ID (идентификатор) посетителя, даже если на сайте есть страница входа, что затрудняет идентификацию уникального посетителя несмотря на то, что данные сеанса и IP-адреса доступны. Это происходит потому, что многие из посетителей используют динамические IP-адреса, предлагаемые их поставщиками интернет-услуг;
— в случае, когда владелец сайта или поставщик интернет-услуг имеет центральный кэш для веб-страниц или когда посетитель использует кэш браузера (кэш — это блок и способ хранение данных на сервере для их повторного использования. При заходе пользователя на сайт, кэширование собирает все данные веб-страницы, превращает их в файл HTML и открывает их в браузере. В следующий раз, когда пользователь откроет этот же сайт, кэш загрузит сохранённую копию. Благодаря этому, сервер работает быстрее и не перегружается, а пользователь получает доступ к содержимому сайта без задержки). (Страницы, полученные посетителем путем нажатия кнопки «Назад» во время последующих посещений в том же сеансе), — цепочка этих кэшей не может быть зарегистрирована (или записана) в файл журнала. Эта проблема приводит к неправильному анализу пути. Кроме того, кэширование страницы может дать неверную информацию о том, куда ушел посетитель. Например, если последняя страница была из кэша, файл журнала не может ее отразить;
— веб-сервер ничего не записывает в файл журнала, когда посетитель перешел на страницу, набрав URL-адрес в поле адреса, используя закладку или перейдя по ссылке электронной почты [9]. Эта проблема приводит к неверной информации в реферерах.
— в файл журнала записывается только время, когда передача данных была инициирована, а не время, когда передача данных завершилась. Следовательно, время, проведенное на странице этим посетителем, можно приблизительно оценить только на основе сравнения временных меток текущего запроса и следующего запроса [7; 15].
Процесс анализа также усложняется из-за таких характеристик файлов веб-журнала, как большой размер и разные форматы для разных серверов. Тем не менее, анализ веб-журналов — это наиболее часто и широко используемый подход для получения информации о посетителях в Интернете на основе данных из журналов веб-сервера.
Б. Конфигурация CiscoNetflow — это протокол мониторинга трафика, разработанный компанией Cisco для захвата и анализа трафика, проходящего через устройства Cisco. Этот инструмент мониторинга трафика используется также для измерения скорости сетевого трафика и может быть полезен в целях безопасности Netflow. При этом протокол работает не только с устройствами Cisco, но и с сетевыми устройствами других производителей.
Netflow — один из важнейших компонентов программного обеспечения, адаптируемых каждой компанией для мониторинга своего сетевого трафика. Это программное обеспечение проделывает важную работу по выявлению и устранению DDoS-атак (DDoS-атака отправляет на атакуемый веб-ресурс (сайты) большое количество запросов с целью превысить способность сайта обрабатывать их все, и тем самым вызвать отказ в его обслуживании. Чаще всего, это мера экономического давления, недобросовестная конкуренция, шантаж, так как сайт, на который осуществлялась атака, не сможет работать или будет работать крайне медленно) (показывая различия между нормальным сценарием и сценарием атаки).
Netflow регистрирует подробную информацию о пакетах, проходящих через маршрутизатор, в файле журнала, к которому можно получить доступ из удаленной системы для анализа. Он отслеживает трафик в соответствии с различными метриками, такими как IP-адрес источника, адрес назначения, тип службы, порт источника, порт назначения и т. д. Эта информация о трафике собирается и отправляется сборщику, который затем пересылает ее анализатору.
Отметим, что существует также аналогичное программное обеспечение — Internet Protocol FlowInformation Export (IPFIX), созданное группой IETF для той же цели мониторинга сети [13].
В. Гибридный нейро-нечеткий подход эффективен для интеллектуального анализа и прогнозирования веб-трафика. Это параллельная нейро-нечеткая модель для обнаружения и анализа полезных знаний из доступных данных веб-журналов.
Гибридная структура сочетает в себе самоорганизующуюся карту (SOM) и систему нечеткого вывода (FIS), работающую в параллельной среде.
Примечание: FIS — это популярная вычислительная среда, основанная на концепциях теории нечетких множеств, нечетких правилах «если-то» и нечетких рассуждениях.
Базовая структура FIS состоит из трех концептуальных компонентов:
1) база правил, которая содержит набор нечетких правил;
2) база данных, которая определяет функции принадлежности, используемые в нечетком правиле, и
3) механизм рассуждений, который выполняет процедуру вывода разумного результата или заключения на основе указанных правил и заданных фактов.
Информация о трафике собирается и отправляется сборщику трафика, который затем пересылает ее анализатору. В этом анализе Netflow также является одной из программ, собирающих информацию о трафике.
Существует и еще несколько подходов (и соответственно, инструментов) к проведению отслеживания поведения посетителей на веб-сайтах, применяемых в рамках анализа веб-трафика. Информация, полученная в результате такого отслеживания и анализа трафика, может помочь онлайн-продавцам ориентироваться на определенную аудиторию с помощью индивидуальных продуктов и услуг, а также расширять ее.
Некоторые из таких подходов отслеживания и анализа имеют сравнительно меньше ограничений и больше преимуществ, а их недостатки в основном связаны с (1) некоторыми ограничениями в отношении типов данных, которые они могут отслеживать, и (2) характеристиками среды пользователей. Такие ситуации мотивируют необходимость разработки иных инструментов, которые могут отслеживать столько же данных, но с меньшими ограничениями и большими преимуществами, чем рассмотренные выше методы и инструменты.
К этим подходам относятся: улучшенное однопиксельное изображение, отслеживание JavaScript и прокси-сервер HTTP (протокол передачи гипертекста), которые часто работают вместе для отслеживания действий пользователя. В дополнение к базовому анализу также используют расширенный анализ, включающий построение дерева анализа путей и кластеризацию пользователей.
Г. Однопиксельный анализ собирает данные с каждой страницы, которую просматривает посетитель. Одиночный пиксель известен под разными именами, такими как пошаговые GIF-файлы, невидимые GIF-файлы, маяко-вые GIF-файлы и веб-ошибки.
Однопиксельный метод вставляет тег IMG (тег IMG используется при написании сайта, а именно, предназначен для отображения на веб-странице изображений в графическом формате GIF, JPEG или PNG. Тег содержит адрес файла картинки и текст, который замещает картинку, если она не может загрузиться) на веб-страницу. Этот тег включает в себя некоторые коды HTML и JavaScript, которые интерпретируются браузером пользователя, когда пользователь получает такую страницу с сервера сайта и, таким образом, захватывает соответствующие данные с этой страницы.
Однопиксельная технология обычно используется с файлами cookie и JavaScript и основана на механизме загрузки изображений. Когда страница загружается, браузер не только создает соединение с веб-сервером, на котором находится страница, но также создает соединение с веб-сервером (на котором находится изображение) для запроса изображения.
Преимуществом однопиксельной техники является то, что файлы веб-журналов фиксируют активность пользователя по «обращениям». Это означает, что если на странице есть три изображения, то в файле журнала будет создано не менее четырех отдельных записей для запроса этой страницы. Эти четыре записи представляют собой результаты запроса для этой страницы и по одной записи для каждого изображения.
В отличие от файлов веб-журнала, однопиксельный метод собирает информацию по просмотрам каждой из страниц и делает по одной записи для каждой страницы. Подробная информация собирается, когда страница полностью загружена. Одним из очевидных преимуществ однопиксельной техники является то, что информацию можно легко собрать и поместить в базу данных, в то время как для анализа веб-журналов обычно требуются данные с нескольких веб-серверов, которые могут быть расположены в разных местах. Это означает, например, что если страница имеет пять тегов IMG, и эти пять изображений расположены на пяти серверах, то запрос на эту страницу приведет к записи в каждом файле журналов этих пяти серверов. Чтобы проанализировать данные, придется собрать эти записи с этих пяти серверов, тогда как при однопиксельном анализе создается одна запись,
потому что она связана с одним изображением. После загрузки изображения запускается программа отслеживания, которая записывает все необходимые данные в виде одной записи.
При работе с кодом JavaScript на стороне клиента, который может захватывать больше данных на стороне клиента, однопиксельный метод позволяет захватывать больше данных, чем инструменты, работающие на стороне сервера (такие как файлы веб-журналов и мониторы пакетов), и даже те, которые не могут быть получены этими серверными инструментами.
Недостатки однопиксельного метода таковы:
1) этот подход, основанный на JavaScript, может не захватить необходимые данные, когда браузер посетителя отключает JavaScript, или когда браузер не поддерживает JavaScript [3; 8; 16];
2) как и при прослушивании пакетов, однопиксельный захват данных осуществляется в реальном времени, и если что-то повлияет на загрузку изображения, данные будут потеряны;
3) при использования этой технологии, поскольку она является скрытой, в отличие от файлов cookie (файл cookie — это небольшой фрагмент текста, передаваемый в браузер с сайта, который посещает пользователь. С его помощью сайт запоминает информацию об этом посещении, что удобно для пользователя. Кроме входов в аккаунты, файлы cookie умеют запоминать: предпочтения пользователей, а также язык, валюту, размер шрифта; товары, которые они просматривали или добавили в корзину; текст, который вводили на сайте раньше; IP-адрес и местоположение пользователя; дату и время посещения сайта; версию ОС и браузера; клики и переходы.), веб-браузеры не предлагают настройки предпочтений, чтобы предупреждать пользователей о том, что страницы содержат веб-ошибки [12]. Некоторые потребители могут быть недовольны осознанием того, что за ними наблюдают и отслеживают их действия в сети [2; 19].
Д. Модель отслеживания и анализа трафика на языке программирования Java. В ней используется строка пути для представления полного пути в сеансе пользователя. Для эффективного хранения всех путей и визуального отображения данных разработана древовидная структура путей и алгоритм построения такого дерева путей. Результаты ее использования показывают, что эта модель может предоставить много полезной информации о навигации пользователей и использовании веб-сайта. Кроме того, она может быть использована для разработки систем веб-рекомендаций и персонализации.
В этой модели применяется формальная техника для руководства императивами обеспечения качества при моделировании подхода к отслеживанию и анализу, основанная на использовании дискретной математической теории (теоретико-множественных представлений для описания структурных компонентов, а также логики предикатов — для описания требований).
Е. Мониторы пакетов. Мониторы пакетов собирают данные трафика непосредственно из пакетов TCP/IP, отправляемых на данный веб-сервер и уходящих с него. В них используется технология прослушивания пакетов, которая схожа с прослушиванием телефонных разговоров [3]. Когда веб-браузер подключается к веб-серверу, он взаимодействует с сервером, отправляя запросы и получая ответы. Все запросы и ответы передаются в виде данных, которые фактически разделяются на пакеты TCP/IP по протоколу HTTP вместе с другими протоколами Интернет-приложений. Эти пакеты можно «прослушивать», когда они перемещаются по сети, для сбора данных о трафике веб-сайта.
Существует два типа мониторов пакетов, различаемых по месту сбора данных о трафике. Это монитор сервера и монитор сети.
Монитор сервера запускается как подключаемый модуль к веб-серверу. Он получает информацию о каждом событии, происходящем на отслеживаемом им веб-сервере, через интерфейс прикладного программирования. При этом то, какие события и данные видны серверным мониторам, зависит от веб-сервера [6]. Обычно монитор сервера может получить идентификатор посетителя, страницы реферера и некоторую другую информацию о событиях на сервере.
Сетевой монитор — это сниффер пакетов, который может захватывать все пакеты данных, проходящие через сеть (сниффер — это «анализатор трафика», то есть программа или устройство для перехвата и анализа сетевого трафика. Часто используется для анализа сетевого трафика в целях обнаружения и устранения отклонений и обеспечения бесперебойной работы. Однако сниффер может быть использован с недобрым умыслом. Снифферы анализируют все, что через них проходит, включая незашифрованные пароли и учетные данные, поэтому хакеры, имеющие доступ к снифферу, могут завладеть личной информацией пользователей. Сетевые мониторы используются чаще, чем серверные, для отслеживания трафика. Они могут видеть почти все, что находится между посетителем и данным веб-сервером. Отслеживаемая информация включает запросы, ответы сервера, файлы cookie и переданные файлы HTML. Кроме того, сетевой монитор может отслеживать события остановки, генерируемые браузером, что позволяет владельцу сайта знать те страницы, создание и отображение которых занимает слишком много времени в браузере клиента. Он также может записывать время ответа веб-сервера на каждый запрос. Некоторые сетевые мониторы могут захватывать «данные формы» HTML, передаваемые методом POST, когда посетитель нажимает кнопку отправки [6]. Сетевой монитор может быть установлен на каждом веб-сервере, хотя такой конфигурацией сложно управлять, если веб-серверы находятся в разных географических точках.
В целом, преимущества анализа пакетов над файлами веб-журналов таковы:
1) данные можно собирать и анализировать в режиме реального времени;
2) можно отслеживать почти всю информацию, находящуюся в файле Web-журнала, а также информацию на сетевом уровне, такую как события «остановки», которых нет в файлах журнала;
3) анализ пакетов может быть совместим практически с любым настраиваемым веб-сервером, поскольку он не зависит от формата файла журнала и базовой операционной системы (ОС);
4) организации с распределенными веб-серверами могут легко (автоматически) собирать информацию о трафике в централизованном хранилище данных для последующего их анализа.
Недостатками использования мониторов пакетов являются:
1) мониторинг пакетов сервера может вызвать неожиданные проблемы на самом сервере (например, может привести к выключению сервера при сбое монитора пакетов), поскольку монитор действует как подключаемый модуль;
2) типы данных, которые может отслеживать серверный монитор пакетов, зависят от веб-сервера;
3) хотя сетевой монитор может отслеживать больше данных, чем файлы веб-журнала, он потребляет много процессорного времени и, следовательно, вызывает большую нагрузку на веб-серверы;
4) метод анализа пакетов захватывает данные в реальном времени, и данные не регистрируются сразу, поэтому, если что-то пойдет не так с анализатором пакетов, данные будут потеряны.
Другие подходы. Помимо упомянутых выше методов отслеживания и сбора данных о посетителях в Интернете, также используются некоторые другие подходы. Опишем кратко некоторые из них.
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
1. Использование HTML-форм — это самый прямой метод сбора данных от посетителей Интернета. Он позволяет сайту собирать информацию о своих посетителях и о том, что они хотят. После того, как посетитель заполняет форму и отправляет ее, информация, содержащаяся в форме, попадает в программу на стороне сервера, которая анализирует и сохраняет данные в базе данных для последующего их анализа.
Основное преимущество этого подхода состоит в том, что веб-сайт может собирать интересные для анализа данные, благодаря использованию заранее разработанных форм, и отслеживаемые данные легко сохранить и проанализировать позже. Однако этот подход малопривлекателен, поскольку большинство пользователей Интернета не желают тратить несколько минут на заполнение формы, если она не является обязательной.
2. Скрытые поля HTML фиксируют данные сеанса посетителя о нем. При отправке формы указанное имя и значение включаются в данные GET или POST. Скрытые поля HTML просты в использовании, но они работают только в том случае, если каждая страница создается в динамическом режиме.
3. Файлы HTTP куки. (Cookie) — содержат небольшие фрагменты текстовой информации, которую веб-сервер отправляет веб-браузеру при первом подключении браузера к веб-сайту. При последующих посещениях веб-браузер отправляет тот же идентификатор обратно на веб-сервер, сообщая веб-сайту, что вернулся тот же конкретный пользователь. Разработчики веб-сайтов могут легко идентифицировать отдельных посетителей с помощью файлов cookie, что позволяет лучше понять, как используется сайт. Например, посетителям большинства сайтов заказов не нужно повторно вводить уже сохраненную информацию о сеансе или некоторые личные данные каждый раз при последующих посещениях. Этот метод широко используется для сбора данных от посетителей. Основным недостатком этой техники является тот факт, что «браузеры обычно принимают всего 300 файлов cookie» [12]. Следовательно, файлы cookie не могут использоваться для хранения большого количества информации о каждом посетителе.
4. Перезапись URL-адресов — это еще один метод управления сеансом, при котором браузер добавляет дополнительные данные, идентифицирующие сеанс, в конец каждого URL-адреса, а веб-сервер связывает идентификатор сеанса с данными, которые он хранит о сеансе. Этот подход работает даже тогда, когда браузер не поддерживает файлы cookie или когда посетитель отключает файлы cookie. Недостатком этого метода является то, что он добавляет утомительные задачи обработки веб-серверу. Кроме того, если посетитель покидает сеанс и возвращается по закладке или ссылке, информация о сеансе может быть потеряна.
Сводные результаты исследования таковы:
Рассмотрены модели и инструменты отслеживания и анализа трафика для эффективного управления транзакциями электронной торговли. Этот анализ предназначен для того, чтобы помочь организациям, занимающимся электронной коммерцией, больше узнать о своих пользователях, чтобы иметь возможность разработать эффективные маркетинговые стратегии. В частности, можно сделать следующие выводы:
1. Комбинация трех подходов к отслеживанию — улучшенного однопиксельного подхода, подхода JavaScript и прокси-сервера HTTP — всегда позволяет отслеживать пользователя.
2. Улучшенный однопиксельный метод имеет больше явных преимуществ по сравнению с обычным одно-пиксельным методом, поскольку не требует поддержки JavaScript для работы, тогда как обычный метод требует поддержки JavaScript в браузере пользователя.
3. Две основные особенности делают метод JavaScript более эффективным и отличающимся от других, поскольку:
— он может отслеживать большинство событий, вызываемых манипуляциями клавиатуры и мыши онлайн-поль-зователей. При этом аналитик может сам настроить, какие именно события о пользователе он хочет отслеживать;
— метод способен отслеживать ввод любой формы на странице.
4. Улучшенные однопиксельные подходы и JavaScript предназначены для работы как со статическими, так и с динамическими веб-страницами.
5. Как в улучшенном однопиксельном подходе, так и в подходе JavaScript использование технологии сервлетов Java (сервлет — это механизм, который умеет получать запросы от клиента и возвращать ему ответы. Сервлет взаимодействует с клиентами посредством принципа запрос-ответ. По сути, это механизм, обслуживающий сайты, его пишут разработчики, потому термин узкоспециализированный.) позволяет этим подходам быть более совместимыми со многими платформами, которые используются в большинстве методов отслеживания. Кроме того, технология управления сеансами сервлетов Java позволяет легко управлять сеансами пользователей и приводит к сравнительно простому процессу последующего анализа отслеживаемых данных.
6. В дополнение к базовому анализу на основе отслеживаемых данных в настоящее время используетсярасши-ренный анализ, такой как модель дерева путей и кластеризация пользователей.
Изложенный материал обзора полезен для дизайнеров и разработчиков маркетинговых приложений электронной коммерции, поскольку в нем освещаются некоторые ключевые фундаментальные и/или прагматические проблемы, возникающие при разработке приложений для отслеживания трафика виртуальной торговли. Изучение операционной эффективности и результативности работы сети, безусловно, важно, потому что позволяет понимать, применять и продвигать известные принципы, процессы и практики для преодоления выявляемых проблем отслеживания вэб-трафика, которые в конечном итоге влияют на общее качество функционирования виртуального бизнеса и, следовательно, на уровень удовлетворенности клиентов веб-сайтов.
1. Филимонов О.И. Интернет-трафик: понятие, свойства и типология / О.И. Филимонов, Т.Г. Касьяненко // Вопросы инновационной экономики. — 2021. — Том 11. — №3. — doi: 10.18334/vinec.11.3.113230
2. Ackerman S.M., Cranor L.F., Reagle J. Beyond concern: understanding net users’ attitudes about online privacy // AT&T Labs-Research Technical Report TR 99.4.3, AT&T Labs-Research, 1999.
3. Analyzing web site traffic, White Paper, Sane Solutions, LLC, North Kingstown, Rhodes Island, USA, 2002.
4. Assessing web site usability from server log files. White Paper, Tec-Ed, Inc., Ann Arbor, MI, USA, 1999.
5. Aye T. Web Log Cleaning for Mining of Web Usage Patterns. IEEE, 2011.
6. Building Confidence Electronic Commerce and Development, in United Nations Conference on Trade and Development (UNCTAD), UNCTAD/SDTE/MISC.11, UNCTAD (Geneva, 2000). Pp. 18.
7. Davison B.D. Web traffic logs: an imperfect resource for evaluation // Proceedings of Ninth Annual Conference of the Internet Society, INET (San Jose, CA, 1999).
8. Driving business decisions in web time, White Paper, Accrue Software, Inc., Fremont, CA, USA, 2000.
9. Drott M.C. Using web server logs to improve site design // Association for Computing Machinery (ACM), in Proceedings on the 16th Annual International Conference on Computer Documentation (Quebec City, Canada). 1998. Pp. 43-50.
10. Ehikioya S.A., Lu S. A Traffic Tracking Analysis Model for the Effective Management of E-commerce Transactions // International Journal of Networked and Distributed Computing. 2020. Vol. 8. Pp. 171-193.
11. Neha Goel, C.K. Jha. Analyzing Users Behavior from Web Access Logs using Automated Log Analyzer Tool // International Journal of Computer Applications. 2013. №2. Pp. 29-33.
12. Hall M. Core Servlets and JavaServer Pages // Sun Microsystems Press, Menlo Park, CA, USA. 2000. 181 p.
13. Introduction to Cisco IOS Netflow — A Technical Overview [Electronic resource]. 2012. URL: https://www.cisco.com/c/en/us/ products/collateral/ios-nx-os-software/ios-netflow/prod_white_paper0900aecd80406232.html (date of treatment: 01.08.21).
14. Joshila Grace L.K., Maheswari V, Nagamalai D. Analysis of Web Logs and Web User In Web Mining // International Journal of Network Security & Its Applications (IJNSA). 2011. Vol. 3. №1.
15. Krishnamurthy B., Rexford J. Software issues in characterizing web server logs // World Wide Web Consortium Workshop on Web Characterization, Cambridge, MA, Cambridge, 1998.
16. Malacinski A., Dominick S., Hartrick T. Measuring web traffic, part 1 and part 2, DeveloperWorks, IBM Corporation, Armonk, NY, USA, 2001.
17. Navin K. Tyagi, Solanki A.K., Wadhwa M. Analysis of Server Log by Web Usage Mining for Website Improvement // International Journal of Computer Science Issues. 2010. Vol. 7. №8. Pp. 17-21.
18. Pande P.V., Tarbani N.M., Ingalkar P. V A Study of Web Traffic Analysis // International Journal of Computer Science and Mobile Computing. 2014. Vol.3. Pp. 900-907.
19. Privacy notice research, final results, Harris Interactive, Inc., Privacy Leadership Initiative (PLI), 2001. Study No. 15338.Seymour J. Mining for gold in your web traffic logs, Sharper Edge International Pty Ltd., Beecroft NSW, Australia, 2014.
20. Seymour J. Mining for gold in your web traffic logs, Sharper Edge International Pty Ltd., Beecroft NSW, Australia, 2014.
21. Sylvanus A. Ehikioya, Shenghong Lu // A Traffic Tracking Analysis Model for the Effective Management of E-commerce Transactions. 2020.
22. Wilson T. Web traffic analysis turns management data to business data // TechWeb Network, San Francisco, CA, USA, 1999.
Отчеты «Источники трафика»
В этом разделе Google Analytics представлены отчеты по различным источникам трафика. «Источники трафика» состоит из: «Обзор», «Весь трафик», «AdWords», «Search Console», «Социальные сети» и «Кампании».

Отчеты «Источники трафика»
Обзор

Обзор источников трафика содержит информацию по группам каналов по умолчанию – набору меток, которые можно присваивать различным источникам трафика на основании некоторых правил. Стандартная группа каналов «Default Channel Grouping» в Google Analytics включает в себя 9 различных меток. Подробнее об этом в следующей статье.
Каждой метке группы каналов соответствуют показатели из трех категорий: «Источники трафика», «Действия» и «Конверсии». Такое сочетание в Google Analytics называют группами метрик ABC.

Группы метрик ABC
- Группа A (Acquisition — входящий трафик);
- Группа B (Behavior — поведение пользователя на сайте);
- Группа C (Conversion — конверсии, целевые действия).
По каждой из группы метрик ABC можно сделать сортировку тех показателей, которые к ней принадлежат. Например, можно по группе С (конверсии) отфильтровать показатель «Доход» по убыванию и посмотреть, какой из каналов принес наибольшее количество денег.
Чтобы изменить группу каналов, необходимо под выбором сегмента нажать «Изменение группы каналов».

Изменение группы каналов
В отчете можно применить основной параметр из выпадающего списка (лучшие каналы, лучшие источники, лучшие источники/каналы), а также выбрать любую доступную конверсию (цель).
При анализе данных во всех отчетах «Источники трафика» доступен выбор периода сравнения.

Кликнув на любую из групп каналов, мы перейдем из отчета «Обзор» в отчет «Источники трафика — Весь трафик — Каналы». Например, при переходе по Organic Search откроется отчет с основным параметром «Ключевое слово».

Основной параметр – Ключевое слово
Примечание: о том, что такое (not set) и (not provided), читайте в этой статье.
А при переходе по прямому трафику (Direct) основной параметр в отчетах – «Страница входа».

Google Analytics определяет источники трафика по HTTP_REFERER (реферер), который является одним из заголовков запроса клиента (браузера). Он содержит URL-адрес источника запроса. Если перейти с одной страницы на другую, referer будет содержать адрес первой страницы.

Например, при переходе с https://osipenkov.ru/not-set-i-not-provided/ на главную страницу https://osipenkov.ru/ в поле referer передалось значение адреса первой страницы.
Очень часто используется, чтобы определить по каким поисковым запросам, как часто и куда именно попадают пользователи. Помимо referer для отслеживания действий пользователей также можно использовать IP-адрес или файлы cookie.
В случае отсутствия реферера Analytics занесет такое посещение в прямой трафик (Direct).
В качестве основного параметра можно выбрать собственную группу каналов. Также доступны: «Источник или канал», «Источник», «Канал» и «Другое» («Браузер», «Город», «Страна», «Язык», «Страница входа», «Ключевое слово», «Содержание объявления» и т.д.)

Основной параметр – Default Channel Grouping
Аналогично выглядит отчет «Источник/канал», в котором основным параметром является «Источник или канал».
Применив дополнительный параметр и расширенный фильтр (например, «Тип устройства» и «Источник или канал» содержит google), мы сможем проанализировать данные и определить наиболее эффективный канал продвижения.

Дополнительный параметр (Тип устройства) и расширенный фильтр (содержит google)
В отчет «Переходы» заносится информация о трафике, который Google Analytics не смог отнести ни к органическому, ни к какому-либо другому, несмотря на полученный адрес страницы, с которой был совершен переход (реферер).

Примечание: в примере источник yandex.ru – это 100% поисковая система, относящаяся к органическому бесплатному поиску. Однако Google не смог ее правильно распознать и все сеансы присвоил рефферальному трафику (referral). Чтобы в будущем этого избежать, необходимо на уровне ресурса в разделе «Код отслеживания» добавить yandex.ru в качестве источника обычных результатов поиска.
Чтобы просмотреть полный адрес страницы, с которой был осуществлен переход, добавим в качестве дополнительного параметра «Полный URL перехода»:

Полный URL перехода
С помощью «Карты эффективности» можно визуально оценить объем поступаемого трафика с того или иного канала и его общую ценность.

Основной показатель влияет на размер прямоугольника (больше = больше), а дополнительный – на его цвет (больше = зеленее).

Основной и дополнительный показатели
Несмотря на то, что рефферальный канал имеет одно из самых больших значений по основному параметру (сеансы) и размер прямоугольника выглядит соответствующе, его дополнительный показатель (страниц/сеанс) является одним из самых маленьких и поэтому прямоугольник раскрашен в красный цвет.

При клике на один из каналов мы окажемся на уровень ниже, где также будет представлена информация в виде раскрашенных прямоугольников.
AdWords
С помощью этих отчетов можно проанализировать действия пользователей на вашем сайте после клика по объявлению AdWords.

- Аккаунты AdWords, связанные с Google Analytics в настройках ресурса;

Если у вас их несколько, то система будет показывать отдельно по каждому аккаунту сводную статистику.
Основной параметр: «Аккаунт», «Кампания» и «Группа объявлений AdWords».
- Кампании с идентификаторами AdWords и со всеми доступными показателями: число кликов, цена за клик без учета НДС, стоимость без учета НДС и т.д.;

Кампании с идентификаторами AdWords
Основной параметр: «Название/идентификатор кампании» и «Группа объявлений AdWords».
- Карты эффективности аналогична той, что была разобрана выше, только по кампаниям из AdWords;
- Дополнительные ссылки позволяют оценить трафик по переходам с быстрых ссылок рекламного объявления;

- Корректировки ставок по различным вариантам: типу устройства (на уровне кампании и на уровне группы объявлений), местоположению, расписанию показа объявлений или списку ремаркетинга поисковых объявлений.
![]()
- Ключевые слова, по которым осуществлялись клики;

Примечание: знак «+» рядом с каждым словом означает модификатор широкого соответствия ключевых слов в Google AdWords.
Основной параметр: «Ключевое слово» и «Содержание объявления».

Есть существенная разница в терминологии:
- Поисковый запрос — то, что пользователь вводит в поисковую строку;
- Ключевое слово (фраза) — то, что указывается в интерфейсе Google AdWords.
И часто бывает, что поисковый запрос не равен ключевому слову. Согласно различным аналитическим исследованиям, количество новых запросов, которые пользователи вводят в поиске, ежемесячно увеличивается на 20%. То есть каждый месяц пользователи придумывают все новые и новые способы написания каких-либо товаров или услуг. В этом отчете как раз можно найти такие вариации ключевых фраз и добавить в свои рекламные кампании, подобрав релевантную посадочную страницу с привлекательным текстом и расширениями объявлений.
Основной параметр: «Поисковый запрос», «Тип соответствия запросу» и «Количество слов в запросе».
- Время суток. Показывает распределение кликов по часам и дням недели и позволяет скорректировать свои рекламные кампании таким образом, чтобы максимально взвешенно расходовать рекламный бюджет, не переплачивая за клиентов в неэффективное время;
Основной параметр: «Час» и «День недели».
- КонечныеURL. Отчет содержит страницы, на которые пользователи перешли после клика по объявлениям;
В разрезе этого отчета следует уделять особое внимание показателю отказов. Если он выше среднего значения, то необходимо принять комплекс мер, направленных на улучшение ситуации. Быть может, пользователь при клике на объявление переходит на сайт и не находит то, что было описано в тексте объявления, и уходит.
Основной параметр: «Конечный URL», «Сеть распространения объявлений» (сюда входят поисковые партнеры Google) и «Ключевое слово».
- Таргетинг в контекстно-медийной сети по различным видам:
![]()
Таргетинг в контекстно-медийной сети
Отдельно стоит отметить места размещения. В отчете могут быть представлены следующие значения:
- Managed placements – места размещения, отобранные вручную. Это те площадки, которые мы указали в интерфейсе AdWords самостоятельно.
- Automatic placements – места размещения, отобранные системой автоматически.
- Видеокампании. Отдельный тип кампаний с размещением на YouTube или в контекстно-медийной сети;
Основной параметр: «Название/идентификатор кампании», «Содержание объявления» и «Видео».
- Торговые кампании. Отдельный тип кампаний с размещением в поиске Google, Google Покупках, а также на сайтах поисковых партнеров.

Основной параметр: «Название/идентификатор кампании», «Категория уровня 1 в Покупках», «Тип товара уровня 1 в Покупках» и «Бренд в Покупках».
Search Console
Отчеты содержат данные по эффективности обычного поискового трафика.

Отчеты «Search Console»
- Страницы входа, по которым пользователи переходили на сайт;


В отчете доступны показатели по кликам, показам, CTR и средней позиции. Все эти данные позволяют оценивать эффективность поискового продвижения. Как видно из отчета, мой блог чаще всего посещают пользователи, которые вводят в запросах начало вопроса из экзаменов по Google, не считая зашифрованных в (other).
Совсем недавно Google расширил период хранения данных в Search Console с 90 дней до 1 года. Предполагается, что новую версию запустят в начале 2018 года и в ней появится ряд новых отчетов. И быть может, какая-то часть из них будем встроена в Analytics.
Социальные сети
Для анализа трафика из социальных сетей в Google Analytics предусмотрен отдельный раздел, который содержит 6 отчетов по взаимодействию пользователей с вашим контентом: «Обзор», «Переходы из сетей», «Страницы входа», «Конверсии», «Социальные модули» и «Пути пользователей».

Отчеты «Социальные сети»
В обзорном отчете показана социальная значимость данного источника трафика по отношению к общему количеству, а также сравнивается суммарное значение сеансов/конверсий и отдельный вклад социальных сетей в общую воронку. Отчет также предоставляет информацию о количестве конверсий в случае, когда переход из социальной сети стал последним источником перехода перед осуществлением конверсии. То есть произошла конверсия по последнему взаимодействию из социальных источников.

На скриншоте показана доля трафика из сетей, которая составляет ~1,5% от всего числа сеансов. Это говорит о том, что владелец сайта не использует потенциал социальных сетей в полной мере и не работает с аудиторией в этом канале.
Распределение по конкретным социальным сетям можно посмотреть в соответствующей таблице. При клике на одну из них нам откроется отчет «Переходы из сетей», где отображается динамика трафика из социальных сетей в сравнении с общим трафиком сайта.
В статистике используются данные по сеансам, просмотрам страниц, средней длительности сеанса и глубине просмотра (страниц/сеанс).

Переходы из социальных сетей
Данные также можно представить в виде распределения, эффективности или сравнения.

Отчет «Страницы входа» содержит статистику по переходам на ваш сайт из материалов, размещенных в социальных сетях.

Наибольшее количество сеансов по той или иной публикации косвенно говорит о ее популярности.
«Конверсии» — отчет, в котором приведены значения по количеству достигнутых целей (конверсий) по каждой из соцсетей.

Статистика доступна по двум вкладкам: «Конверсии» и «Вспомогательные конверсии последнего взаимодействия».
Отчет «Социальные модули» позволяет узнать, какие статьи и с помощью каких кнопок (например, «Мне нравится» от Facebook и «+1» от Google) чаще всего рекомендовали посетители вашего сайта. Отслеживая их с помощью Google Analytics, вы можете оценивать, насколько востребован тот или иной контент.
Чтобы данные в отчете стали доступны, необходимо изменить код отслеживания и добавить информацию о социальных взаимодействиях. Сделать это можно с помощью команды send, задав для параметра hitType значение social. Конечный код для вставки в элемент будет выглядеть так:
ga(‘send’, ‘social’, [socialNetwork], [socialAction], [socialTarget], [fieldsObject]);

Например, команда ga(‘send’, ‘social’, ‘Facebook’, ‘like’, ‘https://osipenkov.ru/sertifikaty-google-adwords-i-analytics/’); отправляет обращение в Google Analytics с информацией о том, что на странице http://osipenkov.ru/sertifikaty-google-adwords-i-analytics/ была нажата кнопка «Мне нравится» от Facebook.
Google+
По умолчанию Google Analytics предоставляет интегрированные отчеты по использованию кнопки +1. Это значит, что если на странице установлен код analytics.js и кнопка +1, все нажатия на нее будут автоматически учитываться как социальные взаимодействия каждым фрагментом кода отслеживания на этой странице.
Отчет «Пути пользователей» несет в себе ту же информацию, что и аналогичный отчет в разделе «Аудитория», о котором мы говорили в предыдущей статье.
Кампании
Последние 4 отчета, которые входят в раздел «Источники трафика» — это «Все кампании», «Оплачиваемые ключевые слова», «Неоплачиваемые ключевые слова» и «Анализ расходов».

Первый отчет показывает все рекламные кампании из Google AdWords, включая кампании с автоматической и ручной простановками меток.

Основной параметр: «Кампания», «Источник», «Канал», «Источник или канал» и «Другое».
Отчеты «Оплачиваемые ключевые слова» и «Неоплачиваемые ключевые слова» содержат информацию о трафике, который пришел на сайт с рекламных объявлений и бесплатного органического поиска соответственно.
Основной параметр: «Ключевое слово», «Поисковый запрос», «Источник», «Канал», «Кампания» и «Другое».
Благодаря отчету «Анализ расходов» все данные из разных рекламных систем можно объединить в Google Analytics и сравнивать их по эффективности в одном месте.

Основной параметр: «Источник или канал», «Кампания» и «Ключевое слово».
О том, как настроить импорт данных, читайте в этой статье.
АНАЛИЗ ДАННЫХ О ПОВЕДЕНИИ ПОЛЬЗОВАТЕЛЕЙ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»
Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Романов А.А., Волчек Д.Г.
Рассматриваются современные системы электронного обучения , имеющие возможность записывать действия пользователей, такие как передвижения, использование интерактивных материалов, регистрация на курсы, их завершение и др. Анализ действий пользователей в системах управления процессом обучения предоставляет возможности для персонализации образовательных траекторий. На основе изучения поведения пользователей становится возможным формирование рекомендаций для разработчиков курсов по улучшению контента и структуры, а также рекомендаций по прохождению курса обучающимся. Исследуются данные, содержащиеся в логах активности, для получения информации, поиска зависимостей путём фильтрации релевантных логов, структурирования информации из них и предоставления данных в удобном для анализа и получения выводов виде. Рассматриваются данные основных типов событий, генерируемых в результате записи действий пользователя в системе управления обучением, и сценарии использования результатов анализа этих данных.
i Надоели баннеры? Вы всегда можете отключить рекламу.
Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Романов А.А., Волчек Д.Г.
Проектирование образовательной среды с помощью смарт-контрактов блокчейна Ethereum
АНАЛИЗ АКТИВНОСТИ СТУДЕНТОВ НА КУРСАХ ОНЛАЙН-ОБУЧЕНИЯ НА ОСНОВЕ ЛОГОВ ПЛАТФОРМЫ «OPENEDU»
Современные цифровые образовательные инструменты и цифровая компетеность: анализ существующих проблем и тенденций
Автоматическое извлечение атрибутов водителя из логов мобильного приложения такси
Оптимизация контента онлайн-курса по данным статистики активности пользователей
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.
DATA ANALYSIS OF USER BEHAVIOR IN E-LEARNING SYSTEMS
This article discusses modern e-learning systems that have the ability to record user actions, such as movement, use of interactive materials, registration for courses, their completion, and more. Analysis of user actions in learning management systems provides opportunities for personalization of educational trajectories. Based on the study of user behavior, it becomes possible to form recommendations for course developers to improve the content and structure, as well as recommendations for passing the course for students. This work examines the data contained in activity logs to obtain information, search for dependencies by filtering relevant logs, structuring information from them, and providing data in a form that is convenient for analysis and drawing conclusions. The paper considers data of the main types of events generated as a result of recording user actions in the training management system, and scenarios for using the results of analyzing this data.
Текст научной работы на тему «АНАЛИЗ ДАННЫХ О ПОВЕДЕНИИ ПОЛЬЗОВАТЕЛЕЙ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ»
УДК 004.62 Б01: 10.18287/2223-9537-2020-10-1-100-111
Анализ данных о поведении пользователей в системах электронного обучения
А.А. Романов, Д.Г. Волчек
Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Россия
Рассматриваются современные системы электронного обучения, имеющие возможность записывать действия пользователей, такие как передвижения, использование интерактивных материалов, регистрация на курсы, их завершение и др. Анализ действий пользователей в системах управления процессом обучения предоставляет возможности для персонализации образовательных траекторий. На основе изучения поведения пользователей становится возможным формирование рекомендаций для разработчиков курсов по улучшению контента и структуры, а также рекомендаций по прохождению курса обучающимся. Исследуются данные, содержащиеся в логах активности, для получения информации, поиска зависимостей путём фильтрации релевантных логов, структурирования информации из них и предоставления данных в удобном для анализа и получения выводов виде. Рассматриваются данные основных типов событий, генерируемых в результате записи действий пользователя в системе управления обучением, и сценарии использования результатов анализа этих данных.
Ключевые слова: образование, поведение пользователей, электронное обучение, веб-программирование, базы данных.
Цитирование: Романов, А.А. Анализ данных о поведении пользователей в системах электронного обучения / А.А. Романов, Д.Г. Волчек // Онтология проектирования. — 2020. — Т. 10, №1(35). -С.100-111. — DOI: 10.18287/2223-9537-2020-10-1-100-111.
Прибегая к использованию МООК (массовых открытых онлайн-курсов, Massive Open Online Courses, МООС), университеты сталкиваются с различными проблемами, например, выбор качественных онлайн-курсов и оценка эффективности онлайн-обучения. Первая задача активно решается в последние годы в рамках проекта «Современная цифровая образовательная среда в России» [1]. Но по-прежнему остаются открытыми вопросы оценки эффективности обучения. Аналитика учебной деятельности обучающихся при освоении ими он-лайн-курсов является одним из инструментов повышения качества обучения [ 2]. Понимание поведения пользователей в системах онлайн-обучения может сильно улучшить качество и облегчить обучение в дальнейшем. Анализ поведения позволит ускорить изучение материала, предоставляя контент, который точно будет соответствовать потребностям учащихся. Обычно при изучении поведения в онлайн-образовании пользуются системой управления обучением (Learning Management System, LMS). Из неё можно узнать, когда вошёл каждый учащийся, историю его посещений, а также запись пройденных курсов. Однако эта информация не является достаточной для построения моделей слушателя и необходимо дополнять её за счёт поведенческих логов.
Основная цель исследования — найти эффективные способы работы с большими объёмами данных, создаваемых веб-средами обучения. Для получения этих данных необходимо
структурировать логи активности пользователей. Структурированные данные необходимо предоставить в удобно читаемом виде, доступном для анализа, извлечения выводов или различных метрик, а также построения предсказательных моделей.
1 Принципы анализа электронного обучения
Если бы можно было анализировать поведение учащихся при работе с онлайн-учебными материалами, это облегчило и ускорило бы процесс обучения, предоставляя учащимся контент, который точно соответствует их потребностям. Обычно система управления обучением позволяет отслеживать «прогресс» обучающихся, однако информация зачастую не так подробна, как хотелось бы. При анализе результатов обучения могут быть полезны следующие основные принципы.
Персонализация обучения. Концепция персонализации обучения в рамках МООК получила широкое распространение и поддержку. Актуальной является задача создания адаптирующихся персонализированных массовых онлайн курсов, поддерживающих наличие уров-невого контента и возможности построения индивидуальных траекторий [3]. Модель курса должна быть гибкой и уметь адаптироваться под действия пользователей, а также обеспечивать наличие некоторого «базового» пути, который должен использоваться в случае, если обучающийся мало знаком с предметной областью и не готов самостоятельно строить свою образовательную траекторию. Для решения этой проблемы целесообразно выполнять кластеризацию пользователей на основе их поведения: насколько успешно происходит усвоение материала, какие разделы курса просмотрел пользователь, переходил ли он по каким-либо внешним ссылкам, представленным в рамках курса и т.д. [4, 5]. Пользователи, которые менее заинтересованы в обучении или испытывают сложности, могут получать лишь базовый контент для достижения общих компетенций. Пользователи, которые показывают успехи, могут получать дополнительные материалы [6].
Понимание поведения учащихся. Для обеспечения возможности персонализации образовательного процесса необходимо точное и подробное отслеживание действий пользователей. Это позволит определять, как пользователи взаимодействуют с системой и учебным материалом. Без такой информации нет возможности определить, что конкретно не знает тот или иной человек, следовательно, нет возможности персонализировать подаваемый материал для пользователя. Современные системы обучения позволяют детально записывать каждый шаг изучения материала. Анализируя эту информацию, можно заметить, что пользователи, например, возвращаются к одному и тому же фрагменту курса. Этот фрагмент может быть информативным и полезным, но недостаточно понятным, и учащиеся предпринимают несколько попыток изучить данный материал. Возможно, что эта часть курса является обязательной для выполнения контроля (тест, упражнения, экзамен и т.д.) и дальнейшего освоения материала, и пользователи несколько раз пытаются её изучить [7, 8].
Возможность различать такие события с помощью информации о поведении пользователей является отправной точкой для создания персонализированного обучения и понимания того, что конкретно нужно пользователям и как следует адаптировать контент курса в дальнейшем.
Отслеживание действий и рекомендации. Существует множество примеров анализа поведения пользователей в сети. В том числе генерация индивидуальных предложений, формирование поисковой выдачи на основе семантики ранее произведённых запросов и т. д. В результате анализа поведения пользователя в системе обучения можно формировать сведения о регулярности участия пользователя в образовательном процессе, производить оценку его успеваемости и многое другое [9]. Исследование поведения обучающегося позволяет произ-
водить анализ потребляемого контента конкретными пользователями и создавать рекомендации по улучшению процесса обучения.
2 Модель представления логов
Развитие технологий обучения порождает множество учебных курсов, предлагаемых новыми системами управления обучением. Это не только даёт доступ к обучению, но и помогает преподавателям оценивать успеваемость учащихся. LMS является инструментом, который позволяет преподавателям автоматизировать отслеживание и запись действий учащихся. Такие записи называют логами (англ. log) — это файлы с записями о событиях в хронологическом порядке, обеспечивающие журналирование всех действий пользователя. Возможные полезные параметры, которые могут быть получены по логам [10, 11]:
■ активность (можно отслеживать, когда пользователь в последний раз был в LMS);
■ частота (отслеживание частоты посещений LMS);
■ длительность (как долго пользователи остаются в LMS во время посещений);
■ обратная связь (отзывы пользователей о содержании курса);
■ оценки (отслеживание средних баллов и сравнение относительно проходных и средних по пользователям);
■ попытки (установление количества попыток в том или ином задании или курсе).
Для отслеживания действий могут быть использованы различные методы. Например, это может быть генерация и отправка отчётов об активности конкретного пользователя целевой аудитории. Метод ручного отслеживания наиболее прост, но трудозатратен и малоэффективен. Современным является наличие выделенного веб-сервиса для мониторинга действий пользователя, результатов обучения и конечного вывода.
Из логов активности в LMS можно получить следующие характеристики поведения пользователя [11].
■ Время, затрачиваемое на обучение (это может помочь спрогнозировать требуемое время для прохождения того или иного курса на практике).
■ Время, затрачиваемое на освоение материала (отличается от предыдущего активностью, так как некто может, например, открыть курс и отвлекаться на что-то другое. Для этого учитывается активность в рамках окна браузера, переходы на другие страницы, вкладки и т.д. ).
■ Время, затраченное на каждый модуль (если пользователь тратит много (или слишком мало) времени на конкретный модуль, то это может указать на проблему в содержании курса: возможно материал сложный (простой/неинформативный) для освоения).
■ Оставление курса (если курс обладает высоким уровнем отсева, это может свидетельствовать как о сложности материала, так и его некорректности или несогласованности упражнений с лекциями).
2.1 Типы событий
Рассматриваемые логи состоят из событий — действий пользователя в рамках LMS. Существует множество событий, которые в соответствии с активностью студентов описываются логами с использованием той или иной платформы. В работе в качестве источника данных использовалась платформа Open edX Университета ИТМО. Все события в логе содержат данные об источнике событий. Так, значение «браузер» подразумевает некоторое действие пользователя, а значение «сервер» — действие LMS, например проверка ответа пользователя. Лог-записи также содержат поля, в которых хранится служебная информация о конкретном событии [12]. Используются описания событий следующих типов.
События передвижения по обучающей системе.
Когда обучающийся переходит по ссылке или объекту, например, для передвижения по курсу, осуществляется соответствующая лог-запись.
Источник события: браузер.
Поля в лог-записях (все типы событий передвижения имеют одинаковые поля, представленные в таблице 1):
■ seq_goto инициируется, когда пользователь переходит между страницами в последовательности;
■ seq_next инициируется, когда пользователь переходит к следующей странице в последовательности;
■ seq_prev инициируется, когда пользователь переходит к предыдущей странице в последовательности.
Таблица 1 — Подробности полей событий передвижений
Поле Тип Подробности
old integer Для seq_goto. Индекс страницы, с которой был произведён переход.
new integer Для seq_goto. Индекс страницы, на которую произведён переход.
id integer edX ГО последовательности
События взаимодействия с видео.
Лог-запись об этом событии осуществляется, когда студент воспроизводит видео в обучающей системе или как-то иначе взаимодействует с видео. Источник события: браузер. События, которые могут происходить:
■ pause_video инициируется, когда пользователь ставит видео на паузу;
■ play_video инициируется, когда пользователь запускает (продолжает) просмотр видео;
■ seek_video инициируется, когда пользователь проматывает видео;
■ speed_change_video инициируется, когда пользователь изменяет скорость воспроизведения видео.
Перечисленные события ссылаются в поля, указанные в таблице 2. Таблица 2 — Подробности полей событий взаимодействия с видео
Поле current_time Подробности Время в видео, которое пользователь выбрал для изменения скорости воспроизведения.
old_speed Скорость видео, с которой оно воспроизводилось ранее.
now_seed Скорость, которую выбрал пользователь.
События взаимодействия с PDF-документами.
LMS содержит информацию интерактивных учебников в виде pf-документов, для которых доступны поля, указанные в таблице 3. Источник события: браузер.
Таблица 3 — Подробности полей событий взаимодействия с PDF документами
Поле type Тип string Подробности ‘gotopage’, ‘prevpage’, ‘nextpage’
old integer Номер страницы, с которой произведен переход.
new integer Номер страницы, на которую перешли.
События перехода по внешним ссылкам.
Эти события содержат информацию, представленную в таблице 4. Источник события: браузер.
Таблица 4 — Подробности полей события перехода по ссылкам
Поле Тип Подробности
current url string Страница, на которой находился пользователь, где была нажата ссылка.
target_url string Адрес, на который перешел пользователь.
Событие вызова подсказки.
Вызов подсказок доступен в упражнениях, заданиях и опросах курса. Лог содержит идентификатор на тот или иной вид контроля, где пользователь запросил подсказку (таблица 5). Источник события: сервер.
Таблица 5 — Подробности полей события вызова подсказки
Поле Тип Подробности
problem_id string Идентификатор вида контроля
Событие проверки правильности ответа.
Серверное событие проверки ответа пользователя. Поля указаны в таблице 6. Источник события: сервер.
Таблица 6 — Подробности полей события проверки правильности ответа
Поле Тип Подробности
answer object Идентификатор вида контроля и ответ на него в виде пары имя/значение. Для компонента с несколькими вопросами перечислены все пары.
attempts number Количество попыток пользователя ответить на вопрос
problem_id string Идентификатор вида контроля
success string Правильно/неправильно
Рассмотренные события были получены в виде JSON (JavaScript Object Notation) структуры данных из образовательной платформы Open edX Университета ИТМО. Их описания содержат несколько полей в соответствии с тем действием, которое было совершено пользователем, и его типом. Пример пользовательского лога активности показан на рисунке 1.
Он получен для события ответ на вопрос при прохождении курса. В логе содержится служебная информация: о браузере пользователя, к какой странице он обратился, какое задание выполнял, сколько попыток было затрачено и т.д.: username — имя пользователя, которым было инициировано событие; event type — тип события;
ip — IP-адрес пользователя, совершившего действие; agent — браузер пользователя, который вызвал событие;
event — это поле содержит информацию о каждом из событий, вызванных пользователем. Каждое событие описано полями: attempts — количество попыток, которое потратил пользователь для ответа на вопрос, problem_id -идентификатор вида контроля, success — успешность ответа на вопрос.
Такой формат логов понятен разработчикам и тем, кто детально изучил документацию о платформе LMS.
2.2 Структурирование информации из логов
Для релевантных типов событий можно выделить две основные части данных, содержащихся в логах: идентификационная информация и детали события. Идентификационная часть включает:
«agent»: «Mozilla/5.0 (Xll; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chnome/58.0.3029.81 Safari/537.36», «referer»: «http://localtost :8000/courses/course-vl:ITM0+l+1337/courseware/bdd79acbl4354b379df387cl42d92f70/05b50d3648da4c
Рисунок 1 — Пример лога активности
Детали события специфичны для каждого типа события. События можно разделить на группы:
■ навигация пользователей (переходы на внешние ссылки и навигация в секциях курса);
■ взаимодействие с видеоматериалами (воспроизведения, паузы, перемотки, изменения скорости);
■ взаимодействие с документами (открытие документа, перелистывание, навигация);
■ ответы на вопросы (подсказки, показ ответов, проверка правильности);
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
■ работа с курсами (регистрация на курсе, отмена курса, получение сертификата).
Для извлечения и структурирования данных логов активности написан программный модуль на языке Python с использованием библиотеки psycopg2. К каждому из типов событий написан индивидуальный модуль, так как данные в них зачастую разнородны. Для хранения данных была выбрана СУБД PostgreSQL. Схема базы данных (БД) для хранения данных из логов пользователей приведена на рисунке 2. Типы событий разделены на группы, и для каждой группы событий создана соответствующая таблица. Внутри таблиц есть поле типа события для идентификации типа. Поля пользователей и курсов связаны с соответствующими таблицами. Всего было обработано более 60000 логов. Обработка выполнялась с помощью разработанных модулей на языке Python. События, которые не подходят ни под один тип, были записаны в таблицу others для отслеживания активности того или иного пользователя в целом.
Рисунок 2 — Схема БД для хранения данных из логов
3 Полученные результаты
После автоматизированного наполнения БД для хранения логов с помощью разработанных модулей преобразования JSON логов было создано веб-приложение для отображения данных (рисунок 3). Приложение написано на языке Python c использованием веб-фреймворка flask, в качестве ORM (Object-Relational Mapping) использовалась программная библиотека SQLalchemy. В классах моделей ORM были описаны соответствующие таблицы в БД. Все дальнейшие взаимодействия с данными происходили посредством интерфейса, предоставляемого пакетом SQLalchemy. Приложение позволяет просмотреть пользователей, курсы и связанные с ними события. Реализованы фильтры по типам событий, пользователям, специфичные фильтры для групп, которые доступны для экспорта.
Event Logs Главная Справочники- Типы событий»
Список (12) Экспортировать Добавить Фиш перехода по ссылкам
Переходы по секциям
_ Взаимодействие с видео
Взаимодействие с докуметами Получение сертификата
Имя пользователя Идентификатор к Регистрация на курсе ятия Тип события Количество попыток Успешность выпопнения
® 12830403 course v1:ITMOtx1 Прочие события 13:12:46 проверка ответа 1 б
® 12830403 course-v1 ITMO+X1011 00+spring_2016 17.02.2018 13 11:56 проверка ответа 1 0
® 12830403 course-vl :1ТМО+хЮ11.00+spring 2016 17 02.2018 13 11:14 проверка ответа 11 ©
© 12830403 course-vl :1ТМО+хЮ11 00+spring_2016 17 02.2018 12:54:07 проверка ответа 1 0
® 12830403 course-v1 ITMO+X1011.00+spring 2016 1702.2018 12 53:29 проверка ответа 1 0
® 12830403 course v1 :ITMOtx1011.001 spring 2016 17.02.2018 12:52:41 проверка ответа ©
® 12830403 course-vl :1ТМО+хЮ11 00+spring_2016 17.02.2018 12:42:18 проверка ответа 1 0
® 12830403 C0Urse-v1 ITMO+X1011 00+spring 2016 17 02.2018 12 42:03 проверка ответа 1 0
® 12830403 course-vl :ITMO+x1011.00+spring 2016 17.02.2018 12:19:39 проверка ответа ©
® 12830403 course-vl :ITMO*x1011.004Spring_2016 17.02.2018 12:18:52 проверка ответа 1 б
® 12830403 course-v1 ITMO+X1011 00+spring_2016 17.02.2018 12 18:29 проверка ответа 1 ©
Рисунок 3 — Веб-приложение для просмотра активности пользователей
Приложение позволяет получить сводную информацию о том или ином пользователе через интерфейс пользователя. Отчёты формируются в виде pf-документа и содержат информацию о том, когда пользователь был в последний раз в системе, какие курсы он проходит и прошел, сколько это заняло времени и насколько правильно он ответил на вопросы курса, отследить его активность во времени и какими материалами курса он пользовался.
В итоге взаимодействие приложений в подготовке отчётов можно отобразить на схеме, показанной на рисунке 4. Из рисунка видно, что информация, генерируемая системой управления обучением, записывается на сервере в текстовые файлы. Это информация о действиях пользователей в LMS. После этого данные обрабатываются с помощью соответствующего модуля парсинга логов и заполняется БД. Для использования данных из БД создаются модели с помощью пакета SQLalchemy для дальнейшей работы с объектами классов языка Python. На этой основе строятся веб-приложение для отображения полученных данных и модуль составления отчётов для получения более детальной и структурированной информации с выводами о данных и успехах пользователей.
Для реализации формирования сводных pdf-документов (рисунок 5) использован пакет appy.pod. Он позволяет создавать динамические документы в форматах .pdf, .doc, odt, .rtf. Для использования этого пакета заранее создаётся документ-шаблон со всеми заголовками и расстановкой мест для данных, которые должны быть в выходном документе. Отчёты позволяют вывести заранее определённую информацию, например графики активности во времени, соотношения типов событий, собранных в системе, и предпочитаемые материалы.
Рисунок 4 — Общая схема взаимодействия приложений в подготовке отчётов
Рисунок 5 — Итоговый отчёт со сводной информацией по пользователю
В работе выполнен анализ средств обработки логов пользователей в системах онлайн обучения, предложены и реализованы дополнительные инструменты оценивания поведения пользователей:
■ выявление аномального поведения пользователей в системе;
■ выявление «проблемных» материалов, на которые пользователи тратили много времени или к которым возвращались несколько раз;
■ выявление «пустых» материалов, которые пользователи в большинстве случаев пропускали.
Использование таких инструментов позволяет улучшать качество образовательного контента и вырабатывать рекомендации для создателей курсов, а также создаёт информационную базу для разработки методов построения индивидуальных образовательных траекторий.
Для эксперимента были использованы данные, полученные из платформы edX Университета ИТМО. Платформа имеет свою систему логирования событий как со стороны сервера, так и со стороны клиента. Данные были обработаны с помощью написанного программного модуля для их структурирования и визуализации в веб-приложении с целью получения подробной информации о ходе прохождения курсов пользователями. В будущем возможно объединение полученной БД с данными системы обучения о курсах и пользователях для предоставления более детализированной информации. Результаты применимы к другим системам обучения, так как принципы их работы похожи, а для анализа поведения пользователей используется единый метод.
[1] Оценка качества онлайн-курсов. — http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov.
[2] O’Farrell L. Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education // National Forum for the Enhancement of Teaching and Learning in Higher Education. 2017. — https:// www.teachingandlearning.ie/wp-content/uploads/2018/01/Final_LA-Briefing-Paper_Web-with-doi.pdf.
[3] Стародубцев, В.А. Персонализированные МООК в смешанном обучении // Высшее образование в России. — 2015. — №. 10. — С.133-144.
[4] Barnes, L. Why understanding Learner Behavior Benefits You / L. Barnes. September 2017. -https://elearningindustry.com/why-understanding-learner-behaviour-benefits-you.
[5] Rosalina Rebucas Estacio, Rodolfo Callanta Raga Jr. Analyzing students online learning behavior in blended courses using Moodle. June, 2018. — https://www.emeraldinsight.com/doi/full/10.1108/AA0UJ-01-2017-0016#.
[6] Быстрова, Т.Ю. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся / Т.Ю. Быстрова, В.А. Ларионова, Е.В. Синицын, А.В. Толмачев // Вопросы образования. — 2018. — №. 4. -С.139-166.
[7] Morrison, K. 8 Essential metrics to use for tracking employee training / Kim Morrison // January 3, 2019. -https://elearningindustry.com/tracking-employee-training-8-essential-metrics-use.
[8] Ragel, R.G. Students Behavioural Analysis in an Online Learning Environment Using Data Mining / R.G. Ragel, S. Deegalla. — University of Peradeniya, SriLanka. 2014.
[9] Bienkowski, M. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief / M. Bienkowski, M. Feng, B. Means. U.S. Department of Education. October, 2012.
[10] Yadav, R.K. Understanding Logs in edX for Monitoring Student Progress / Ravi Kumar Yadav // Department of Computer Science and Engineering Indian Institute of Technology, Bombay. May, 2014.
[11] How to track e-learning in a LMS. March 30, 2018. — https://www.getmagicbox.com/blog/how-to-track-elearning-in-lms/.
[12] Event tracking logs. EdX research Guide. https://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html
Сведения об авторах
Романов Алексей Андреевич, 1989 г. рождения. Окончил Университет ИТМО в 2012 году. Преподаватель Высшей школы цифровой культуры и ассистент факультета программной инженерии и компьютерной техники Университета ИТМО. AuthorlD (РИНЦ): 763669; Author ID (Scopus): 57197729875; ORCID 0000-0002-6991-464X; Researcher ID (WoS): K-2908-2015. romanov@itmo.ru. Волчек Дмитрий Геннадьевич, 1989 г. рождения. Окончил Университет ИТМО в 2012 году. Преподаватель Высшей школы цифровой культуры и ассистент факультета программной инженерии и компьютерной техники Университета ИТМО. AuthorID (РИНЦ): 766386; Author ID (Scopus): 57197732532; ORCID 0000-0002-0310-1654; Researcher ID (WoS): I-1688-2016. dvolchek@yandex.ru
Поступила в редакцию 02.12.2019, после рецензирования 13.03.2020. Принята к публикации 25.03.2020.
Data Analysis of User Behavior in E-Learning Systems
A. Romanov, D. Volchek
St. Petersburg National Research University of Information Technologies, Mechanics and Optics, St. Petersburg, Russia
This article discusses modern e-learning systems that have the ability to record user actions, such as movement, use of interactive materials, registration for courses, their completion, and more. Analysis of user actions in learning management systems provides opportunities for personalization of educational trajectories. Based on the study of user behavior, it becomes possible to form recommendations for course developers to improve the content and structure, as well as recommendations for passing the course for students. This work examines the data contained in activity logs to obtain information, search for dependencies by filtering relevant logs, structuring information from them, and providing data in a form that is convenient for analysis and drawing conclusions. The paper considers data of the main types of events generated as a result of recording user actions in the training management system, and scenarios for using the results of analyzing this data.
Key words: education, user behavior, e-learning, web programming, databases.
Citation: Romanov A, Volchek D. Data Analysis of User Behavior in E-Learning Systems [In Russian]. Ontology of designing. 2020; 10(1): 100-111. DOI: 10.18287/2223-9537-2020-10-1-100-111.
List of figures and tables
Figure 1 — Activity log example
Figure 2 — Database schema for storing data from logs
Figure 3 — Web application for viewing user activity
Figure 4 — The general scheme of application interaction in the preparation of reports
Figure 5 — Final report with user summary
Table 1 — Movement event fields details
Table 2 — Details of the video interaction event fields
Table 3 — Details of event fields for interaction with PDF documents
Table 4 — Following a link event fields details
Table 5 — Call tips event fields details
Table 6 — Details of response validation event fields
[1] Evaluating the quality of online courses [In Russian]. http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov.
[2] O’Farrell L. Using Learning Analytics to Support the Enhancement of Teaching and Learning in Higher Education // National Forum for the Enhancement of Teaching and Learning in Higher Education. 2017. https:// www.teachingandlearning.ie/wp-content/uploads/2018/01/Final_LA-Briefing-Paper_Web-with-doi.pdf.
[3] Starodubtsev VA. Personalized MOOCs in mixed training [In Russian]. Higher education in Russia. 2015; 10: 133144.
[4] Lorna Barnes. Why understanding Learner Behavior Benefits You. September 2017. https://elearningindustry.com/why-understanding-learner-behaviour-benefits-you.
[5] Rosalina Rebucas Estacio, Rodolfo Callanta Raga Jr. Analyzing students online learning behavior in blended courses using Moodle. June, 2018. https://www.emeraldinsight.com/doi/full/10.1108/AA0UJ-01-2017-0016#.
[6] Bystrova TYu, Larionova VA, Sinitsyn EV, Tolmachev A V. Educational Analytics of MOOC as a tool for predicting the success of students [In Russian]. Questions of education. 2018; 4: 139-166.
[7] Kim Morrison. 8 Essential metrics to use for tracking employee training. January 3, 2019. https://elearningindustry.com/tracking-employee-training-8-essential-metrics-use.
[8] RG Ragel, S Deegalla. Students Behavioural Analysis in an Online Learning Environment Using Data Mining. University of Peradeniya, SriLanka. 2014.
[9] Marie Bienkowski, Mingyu Feng, Barbara Means. Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. U.S. Department of Education. October, 2012.
[10] Ravi Kumar Yadav. Understanding Logs in edX for Monitoring Student Progress. Department of Computer Science and Engineering Indian Institute of Technology, Bombay. May, 2014.
[11] How to track e-learning in a LMS. March 30, 2018. https://www.getmagicbox.com/blog/how-to-track-elearning-in-lms/.
[12] Event tracking logs. EdX research Guide. https://edx.readthedocs.io/projects/devdata/en/stable/internal_data_formats/tracking_logs.html.
About the authors
Aleksei Romanov (b. 1989) He graduated from ITMO University in 2012. Lecturer at the Higher school of digital culture and an assistant at the faculty of software engineering and computer engineering at ITMO University. AuthorID (RCI): 763669; Author ID (Scopus): 57197729875; ORCID 0000-0002-6991-464X; Researcher ID (WoS): K-2908-2015. romanov@itmo.ru.
Dmitry Volchek (b. 1989) He graduated from ITMO University in 2012. Lecturer at the Higher school of digital culture and an assistant at the faculty of software engineering and computer engineering at ITMO University. AuthorID (RCI): 766386; Author ID (Scopus): 57197732532; ORCID 0000-0002-0310-1654; Researcher ID (WoS): I-1688-2016.
Received December 2, 2019. Revised March 13, 2020. Accepted March 25, 2020.
