Зачем и как использовать визуализацию данных.

С возрастанием количества накапливаемых данных, даже при использовании сколь угодно мощных и разносторонних алгоритмов Data Mining, становится все сложнее "переваривать" и интерпретировать полученные результаты. А, как известно, одно из положений Data Mining - поиск практически полезных закономерностей. Закономерность может стать практически полезной, только если ее можно осмыслить и понять.

В 1987 году по инициативе ACM SIGGRAPH IEEE Computer Society Technical Committee of Computer Graphics, в связи с необходимостью использования новых методов, средств и технологий данных, были сформулированы соответствующие задачи направления визуализации. К способам визуального или графического представления данных относят графики, диаграммы, таблицы, отчеты, списки, структурные схемы, карты и т.д. Визуализация традиционно рассматривалась как вспомогательное средство при анализе данных, однако сейчас все больше исследований говорит о ее самостоятельной роли.

Традиционные методы визуализации могут находить следующее применение:

Ø представлять пользователю информацию в наглядном виде;

Ø компактно описывать закономерности, присущие исходному набору данных;

Ø снижать размерность или сжимать информацию;

Ø восстанавливать пробелы в наборе данных;

Ø находить шумы и выбросы в наборе данных.

Визуализация инструментов Data Mining

Каждый из алгоритмов Data Mining использует определенный подход к визуализации. В ходе использования каждого из методов, рассмотренных выше, а точнее, их программных реализаций, мы получали некие визуализаторы, при помощи которых удавалось интерпретировать результаты, полученные в результате работы соответствующих методов и алгоритмов.

Ø Для деревьев решений это визуализатор дерева решений, список правил, таблица сопряженности.

Ø Для карт Кохонена: карты входов, выходов, другие специфические карты.

Ø Для линейной регрессии в качестве визуализатора выступает линия регрессии.

Ø Для кластеризации: дендрограммы, диаграммы рассеивания.

Диаграммы и графики рассеивания часто используются для оценки качества работы того или иного метода.

Все эти способы визуального представления или отображения данных могут выполнять одну из функций:

Ø являются иллюстрацией построения модели (например, представление структуры (графа) нейронной сети);

Ø помогают интерпретировать полученный результат;

Ø являются средством оценки качества построенной модели;

Ø сочетают перечисленные выше функции (дерево решений, дендрограмма).

Визуализация Data Mining моделей

Первая функция (иллюстрация построения модели), по сути, является визуализацией Data Mining модели. Существует много различных способов представления моделей, но графическое ее представление дает пользователю максимальную "ценность". Пользователь, в большинстве случаев, не является специалистом в моделировании, чаще всего он эксперт в своей предметной области. Поэтому модель Data Mining должна быть представлена на наиболее естественном для него языке или, хотя бы, содержать минимальное количество различных математических и технических элементов.

Таким образом, доступность является одной из основных характеристик модели Data Mining. Несмотря на это, существует и такой распространенный и наиболее простой способ представления модели, как "черный ящик". В этом случае пользователь не понимает поведения той модели, которой пользуется. Однако, несмотря на непонимание, он получает результат - выявленные закономерности. Классическим примером такой модели является модель нейронной сети.

Другой способ представления модели - представление ее в интуитивном, понятном виде. В этом случае пользователь действительно может понимать то, что происходит "внутри" модели. Таким образом, можно обеспечить его непосредственное участие в процессе. Такие модели обеспечивают пользователю возможность обсуждать ее логику с коллегами, клиентами и другими пользователями, или объяснять ее.

Понимание модели ведет к пониманию ее содержания. В результате понимания возрастает доверие к модели. Классическим примером является дерево решений. Построенное дерево решений действительно улучшает понимание модели, т.е. используемого инструмента Data Mining.

Кроме понимания, такие модели обеспечивают пользователя возможностью взаимодействовать с моделью, задавать ей вопросы и получать ответы. Примером такого взаимодействия является средство "что, если". При помощи диалога "система-пользователь" пользователь может получить понимание модели.

Примерами средств визуализации, при помощи которых можно оценить качество модели, являются диаграмма рассеивания, таблица сопряженности, график изменения величины ошибки:

Ø Диаграмма рассеивания представляет собой график отклонения значений, прогнозируемых при помощи модели, от реальных. Эти диаграммы используют для непрерывных величин. Визуальная оценка качества построенной модели возможна только по окончанию процесса построения модели.

Ø Таблица сопряженности используется для оценки результатов классификации. Такие таблицы применяются для различных методов классификации. Оценка качества построенной модели возможно только по окончанию процесса построения модели.

Ø График изменения величины ошибки. График демонстрирует изменение величины ошибки в процессе работы модели. Например, в процессе работы нейронных сетей пользователь может наблюдать за изменением ошибки на обучающем и тестовом множествах и остановить обучение для недопущения "переобучения" сети. Здесь оценка качества модели и его изменения может оцениваться непосредственно в процессе построения модели.

Примерами средств визуализации, которые помогают интерпретировать результат, являются: линия тренда в линейной регрессии, карты Кохонена, диаграмма рассеивания в кластерном анализе.

Методы визуализации

Методы визуализации, в зависимости от количества используемых измерений, принято классифицировать на две группы:

1. Представление данных в одном, двух и трех измерениях

К этой группе методов относятся хорошо известные способы отображения информации, которые доступны для восприятия человеческим воображением. Практически любой современный инструмент Data Mining включает способы визуального представления из этой группы.

В соответствии с количеством измерений представления это могут быть следующие способы:

Ø одномерное измерение, или 1-D;

Ø двумерное измерение, или 2-D;

Ø трехмерное или проекционное измерение, или 3-D.

Следует заметить, что наиболее естественно человеческий глаз воспринимает двухмерные представления информации.

При использовании двух- и трехмерного представления информации пользователь имеет возможность увидеть закономерности набора данных:

Ø его кластерную структуру и распределение объектов на классы (например, на диаграмме рассеивания);

Ø топологические особенности;

Ø наличие трендов;

Ø информацию о взаимном расположении данных;

Ø существование других зависимостей, присущих исследуемому набору данных.

Если набор данных имеет более трех измерений, то возможны такие варианты:

ü использование многомерных методов представления информации (они рассмотрены ниже);

ü снижение размерности до одно-, двух- или трехмерного представления. Существуют различные способы снижения размерности. Для снижения размерности и одновременного визуального представления информации на двумерной карте используются самоорганизующиеся карты Кохонена.

2. Представление данных в 4 + измерениях

Представления информации в четырехмерном и более измерениях недоступны для человеческого восприятия. Однако разработаны специальные методы для возможности отображения и восприятия человеком такой информации.

Создание визуального контента - это порой дорого, трудно и отнимает много времени. Резонный вопрос: стоит ли этим заниматься?

Данные везде, данные повсюду.

Как говорит Дэвид Маккэндлесс, дизайнер, писатель и журналист в области инфографики, а также автор известной книги «Инфографика. Самые интересные данные в графическом представлении», сегодня человечество живет в информационных джунглях.

Каждую минуту в нашей жизни появляется немыслимое количество новой информации. Мы даже не замечаем этого. Одни лишь твиты, лайки и загрузки фотографий на социальные платформы исчисляются цифрами с 5-6 нулями. Не говоря уже о бесконечном количестве статей, видео-роликов, финансовых операций, аналитических отчетов и многих других вещей, которые сразу могут не прийти в голову, но, безусловно, существует в нашей жизни.

Если верить исследованиям компании Domosphere, предоставляющей программные решения для обработки, систематизации и визуализации бизнес-информации, то с 2013 года количество интернет-пользователей во всем мире выросло с 2,4 млрд. человек до 3,2 млрд человек.

Такой стремительный рост дает огромный толчок развитию высоких технологий и в результате буквально каждый год мы видим, как на рынок выходят все новые системы и гаджеты.

Например, компания, разработавшая мобильное приложение Vine для создания коротких (менее 6 секунд длительностью) видео-роликов, была основана буквально 3 года назад, в июне 2012 года. Twitter выкупила стартап в октябре и открыла для широкой публики в январе 2013. Сегодня каждую секунду в мире просматривается более 1 млн. вайн-роликов, а популярные вайнеры зарабатывают десятки сотен долларов на ведении аккаунтов компаний или на размещении срытой рекламы в своих видео.

Если говорить о других популярных социальных платформах, блогах и приложениях, то с 2013 года

количество твитов, отправляемых пользователями за в минуту, увеличилось со 100 до 347 тыс,
количество часов видео, загружаемого на YouTube – c 72 до 300 часов,
число скачиваний приложений Apple – c 48 до 51 тыс,
а количество пинов на Pinterest – c 3,5 до 9,7 тыс.

Как результат, общая картина роста информации в интернете за 1 минуту времени сегодня выглядит приблизительно следующим образом.

Инфографика: рост количества информации в интернете за минуту в 2015 году.

Добро пожаловать в 2015 год!

По прогнозам Комиссии по широкополосному соединению и развитию цифровых технологий число интернет-пользователей к 2020 году увеличится в 2 раза. Соответственно также возрастут объемы информации, которые уже сейчас измеряются в огромными числами.

Петабайт

Если верить Векипедии, то сегодня:

– Google ежедневно обрабатывает около 24 петабайт данных.

– Через сети американского провайдера AT&T еженедельно проходит 19 петабайт трафика.

– Размер результатов экспериментов, проводимых на большом адронном коллайдере за год, достигает 4 петабайта .

Для сравнения:

– Все письменное наследие человечества на всех языках мира с момента зарождения письменности составляет всего около 50 петабайт информации. (Из книги «Игфографика. Визуальное представление данных» Рэнди Крам)

Конечно, доступ к таким большим объемам данных открывает перед человечеством безграничные возможности. Позволяет более детально изучать окружающий мир, ломает стереотипы и помогает прогнозировать будущее. Тем не менее, если использовать только традиционные способы работы с информацией, то человек физически не способен справится с объемами и вынужден искать варианты решения проблемы.

Сила визуализации

Как наш мозг воспринимает информацию

Данные, которые выглядят, как абсолютная тарабарщина в обычном виде, становятся понятными и логичными, стоит их преобразовать в графики, диаграммы или видео. Если у нас получается грамотно представить информацию визуально, то мы получаем возможность лучше понимать окружающих людей. Тем не менее, очень многие беспокоятся о том, что визуальное представление значительно упрощает информацию и мы теряем много важный данных в процессе преобразования цифр и текста в графику. Так ли это на самом деле?

Теряем ли мы данные, когда преобразуем цифры и текст в графику?

В 2011 году учеными Эмре Сойер и Рибином Хогартом было проведено исследование среди экономистов. Испытуемых разделили на три группы в зависимости от формы представления информации, которую им предстояло изучить, и попросили ответить на 3 вопроса. В итоге были получены следующие результаты:

1 группа: получила данные в виде классической статистической отчетности - 72% человек дали неверный ответ;

2 группа: получила данные в виде классической статистической отчетности и в виде графика - 61% дали неверный ответ;

3 группа: получила данные только в виде графической информации - ошиблись только 3%.

Вывод очевиден: визуализация данных в некоторых случаях позволяет намного лучше воспринимать информацию, чем цифры и текст!

Посмотрите выступление Дэвида Маккэндлесса на TED Talks. Насколько очевидными становятся многие вещи, когда мы получаем возможность оценить их визуально.

Дэвид Маккэндлесс на TED Talks.

Визуализация информации и развитие технологий.

Безусловно, рост спроса на визуализацию данных стимулирует развитие технологий. Хотя обратное тоже верно и новые технологии повышают требования к качеству графики. В любом случае, сегодня составить презентацию на основе графиков и диаграмм, сделать инфографику или снять видео-ролик, не является большой проблемой. Огромное количество графических онлайн и оффлайн программ можно легко найти, изучить и реализовать с их помощью свои самые фантастические идеи.

Можно установить Photoshop или Illustrator и создать визуализацию с нуля. Можно воспользоваться более специализированными графическими приложениями, такими как Piktochart, Easel.ly или Visual.ly и разрабатывать графику на основе шаблонов. Даже не буду пытаться перечислить то бесконечное количество фотостоков, стоков с 3D- и видео-графикой, которые сегодня существует на бескрайних просторах интернета. За небольшую плату их ресурсы смогут стать достойным украшением любой вашей инфографики или видео-презентации

Picktochart

Визуализация и социальные платформы.

Взгляните еще раз на инфографику о росте скорости информации и посчитайте, какое примерное количество ресурсов, перечисленных в ней, являются графическими платформами. Instagram, Pinterest, YouTube, Vine, Netflix, Snapchart – все они были разработаны специально для публикации визуального контента. Частично к этой группе можно также отнести Twitter, Facebook и другие популярные социальные сети, так как их интерфейс не предполагает публикацию длинных текстовых зарисовок. Зато на них очень хорошо смотрятся видео-материалы, фотографии и любая другая графика. Стоит ли упоминать, что среди всех перечисленных ресурсов, вы не найдете ни одного, где бы графический контент вообще не использовался.

Все интернет-исследования из года в год повторяют одно и тоже: визуальные материалы способствуют популяризации аккаунтов, групп и блогов. Использование графического контента в Twitter увеличивает число репостов на 35%, в Facebook – на 87%. Популярность блогов с графикой возрастает на 47%.

Статистика по Twitter

Статистика по Facebook

Сравните два варианта передачи информации, по смыслу абсолютно равнозначные. Какой из них больше привлечет ваше внимание?

Графика vs. Текст

Как визуализация влияет на уровень доверия читателей?

Научно доказано, что визуальный контент способствует росту доверия к текстовым материалам.

Некоторой группе интернет-пользователей было предложено подтвердить или опровергнуть ряд высказываний. Один из примеров: «Орехи макадамия и персики принадлежат к одному и тому же семейству.» В 50 случаях из 100 утверждения, сопровождающиеся картинками, были оценены, как правдивые вне зависимости от того, являются они таковыми или нет.

Орехи макадамия

Другими словами, участники в большей степени доверяли именно тем высказываниям, которые сопровождались фотографиями.

Заключение

В заключении хочется отметить, что любая визуализация данных - инфографика, видео-ролики или просто обычные фотографии - приносит пользу, тогда и только тогда, когда она интересно придумана, талантливо реализована и вовремя и к месту опубликована. Волшебство происходит, только если хорошая идея сочетается с грамотным дизайном и поддерживается умелым маркетингом. В противном случае все вышеперечисленные плюсы мгновенно самоликвидируются и вы принесете проекту больше вреда, чем пользы.

Поговорка «лучше один раз увидеть, чем сто раз услышать» отражает суть такого процесса как визуализация.

Визуализация (от лат. visualis , «зрительный») - общее название приёмов представления числовой информации или физического явления в виде, удобном для зрительного наблюдения и анализа (wikipedia).

Что такое визуализация? Само по себе понятие является достаточно многогранным, существует несколько определений в зависимости от того, о каком поле деятельности идет речь. Целью визуализации является передача данных. Визуализация информации - это процесс представления абстрактных данных в виде изображений, которые могут помочь в понимании смысла данных. (FB.ru)

Не только дети, но и многие люди плохо воспринимают информацию на слух, часть ее не распознается и теряется, часть воспринимается неверно, сухой монолог быстро утомляет, может вызывать демотивирование обучающихся. Визуализация подаваемого материала обеспечивает наглядность, четкое восприятие и понимание, возможность многократного обращения к представленной информации, возможность сравнения с предыдущей и последующей информацией.

Выделяют следующие Методы визуализации:

1 Рисунок

Рисунок, видимо, был первой в мире сознательной попыткой визуализации образов для их демонстрации другому человеку.

2 График

Графики предназначены прежде всего для иллюстрирования математических понятий, функциональных зависимостей или связей между объектами.

3 Диаграмма

Диаграммы позволяют иллюстрировать количественные соотношения в определённой области.

4 Фотография

5 Карта (wikipedia).

Включение визуализации в образовательный процесс позволяет активно задействовать мощный зрительный канал получения информации. Помимо более понятной и наглядной формы получения информации, происходит дополнительная активизация нервной системы, обеспечивающая повышенное внимание и концентрацию учащихся на предмете изучения.

Есть еще один важный эффект визуализации. Оформляя результаты самостоятельного обсуждения новой темы, учащиеся подключают к обучению мощнейший потенциал творчества. Поиск оригинальных форм отражения результатов работы команды, реализация в этом процессе всех своих способностей, свободное самовыражение и связанные с этим яркие положительные эмоции обеспечивают эффективное усвоение и надежное закрепление новых знаний и умений!

Для визуализации в образовательном процессе можно использовать привычные цветные мелки, разноцветные карточки, наклейки, вырезки из журналов, акварельные краски, материалы для лепки и другие подходящие для этой цели предметы. Театрализация представления результатов обсуждения также обеспечит яркий визуальный эффект и прочное запоминание материала. На самом деле, варианты представления процесса и результатов обучения безграничны, точнее, определяются задачами каждого раздела урока и ограничиваются исключительно фантазией педагога, обучающихся и ресурсными возможностями.

Активные методы представления информации, различные техники и способы визуализации материала оживляют образовательный процесс, позитивно воспринимаются обучающимися и положительно сказываются на результатах обучения. Не жалейте времени на планирование и осуществление на уроке данного процесса!

Скачать:

Предварительный просмотр:

Визуализация

Поговорка «лучше один раз увидеть, чем сто раз услышать» отражает суть такого процесса как визуализация.

Визуализация (от лат. visualis , «зрительный») - общее название приёмов представления числовой информации или физического явления в виде, удобном для зрительного наблюдения и анализа (wikipedia).

Выделяют следующие Методы визуализации:

1 Рисунок

2 График

3 Диаграмма

Диаграммы позволяют иллюстрировать коли чественные соотношения в определённой области.

4 Фотография

5 Карта (wikipedia).

Визуализация - ИЗОБРАЖЕНИЙ 24. Визуализация Display Визуальное представление данных Источник: ГОСТ 27459 87: Системы обработки информации. Машинная графика. Термины и определения …

Способ отображения информации о состоянии технологического оборудования и параметрах технологического процесса на мониторе компьютера или операторской панели в системе автоматического управления в промышленности, предусматривающий также… … Википедия

В общем смысле метод представления информации в виде оптического изображения (например, в виде рисунков и фотографий, графиков, диаграмм, структурных схем, таблиц, карт и т. д.). Очень эффективно визуализация используется для представления… … Словарь бизнес-терминов

Египетские иероглифы позволяли интуитивно наглядно описывать понятия … Википедия

Визуализация типовой формы - 98. Визуализация типовой формы Form flash Визуальное представление типовой формы Источник: ГОСТ 27459 87: Системы обработки информации. Машинная графика. Термины и определения … Словарь-справочник терминов нормативно-технической документации

Визуализация - (лат. visualis зрительный) 1. формирование зрительного наглядного или мысленного образа (например, можно «воочию» представить себе страницу книги, где находится нужный текст); 2. в психопатологии присоединение к нарушениям мышления зрительных… … Энциклопедический словарь по психологии и педагогике

ГОСТ 27459-87: Системы обработки информации. Машинная графика. Термины и определения - Терминология ГОСТ 27459 87: Системы обработки информации. Машинная графика. Термины и определения оригинал документа: 5. Абсолютная команда визуализации Absolute command Команда визуализации, в которой используются абсолютные координаты… … Словарь-справочник терминов нормативно-технической документации

Содержание 1 Как это работает 2 Безопасность 3 Действующие службы передачи дорожной … Википедия

извлечение информации из данных - разведка данных Технология анализа хранилищ данных, базирующаяся на методах ИИ и инструментах поддержки принятия решений. Процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий. Выполняется путем тщательного исследования данных с … Справочник технического переводчика

Тип Сист … Википедия

Книги

, Кабаков Роберт И.. R -это мощный язык для статистических вычислений и графики, который может справится поистине с любой задачей в области обработки данных. Он работает во всех важных операционных системах и…
R в действии. Анализ и визуализация данных на языке R , Роберт И. Кабаков. R– это мощный язык для статистических вычислений и графики, который может справиться поистине с любой задачей в области обработки данных. Он работает во всех важныхоперационных системах и…

По сложившейся уже традиции, начнем с определения.

Визуализация информации – представление информации в виде графиков, диаграмм, структурных схем, таблиц, карт и т.д.

ecsocman.edu.ru

Зачем визуализировать информацию? "Глупый вопрос!" – воскликнет читатель. Конечно же, текст с картинками воспринимается лучше, чем "серый" текст, а картинки с текстом воспринимаются еще лучше. Недаром все мы так любим комиксы – ведь они позволяют нам буквально схватывать информацию на лету, казалось бы, не прикладывая ни малейших умственных усилий! А вспомните, насколько хорошо запоминался вам во время учебы материал тех лекций, которые сопровождались слайдами!

Первое, что приходит нам в голову при слове "визуализация", – это графики и диаграммы (вот она, сила ассоциаций!). С другой стороны, визуализировать таким образом можно только числовые данные, никому еще не удавалось построить график на основе связного текста. Для текста мы можем построить план, выделить основные мысли (тезисы) – сделать краткий конспект. О недостатках и вреде конспектирования мы поговорим чуть позже, а сейчас скажем о том, что если объединить план и краткий конспект – "развесить" тезисы по ветвям дерева, структура которого соответствует структуре (плану) текста, – то мы получим отличную структурную схему текста, которая запомнится намного лучше, чем любой конспект. В этом случае ветви будут играть роль тех "треков" – дорожек, связывающих понятия и тезисы, о которых мы говорили ранее.

Помните, как мы строили UML-диаграммы на основе описания проектируемой программной системы, полученного от ее будущих пользователей? Полученные картинки воспринимались и клиентами, и разработчиками намного проще и быстрее, чем текстовое описание. Точно так же можно "изобразить" абсолютно любой текст, не только техническое задание на разработку системы. Подход, описанный нами выше, позволяет визуально представить абсолютно любой текст – будь это сказка, техническое задание, лекция, фантастический роман или результаты совещания – в виде удобного и простого для восприятия дерева. Строить его можно как угодно – лишь бы получилась наглядная и понятная схема, которую хорошо бы еще проиллюстрировать подходящими по смыслу рисунками.

Такие схемы удобно применять и в общении при обсуждении каких-либо вопросов и проблем. Как показывает практика, отсутствие четких стандартов нотации не создает абсолютно никаких коммуникативных сложностей для участников обсуждений. Наоборот, использование невербальных форм представления информации позволяет концентрировать внимание именно на ключевых точках проблемы. Таким образом, визуализация является одним из наиболее перспективных направлений повышения эффективности анализа, представления, восприятия и понимания информации.

Ух, наконец-то мы покончили с нудным описанием научных теорий, методов и приемов, применяющихся для обработки, систематизации и визуализации информации! Предыдущая часть главы сильно утомила и автора, и читателей, и тем не менее, она была необходима: в результате мы увидели, что особенности работы нашего мозга уже активно применяются учеными в самых разных областях науки, многие вещи, которые кажутся нам привычными, – персональные компьютеры, пользовательские интерфейсы, базы знаний и т.д. – изначально строились с учетом ассоциативного характера человеческого мышления и его склонности к иерархическому представлению и визуализации информации. Но вершиной и естественным графическим выражением мыслительных процессов человека является mind mapping, к обсуждению которого мы наконец-то переходим. А заодно попытаемся расширить наше понимание принципов визуального мышления.