Мультимедиа

Термин мультимедиа был введён певцом и художником Бобом Голдстейном (позже — Bobb Goldsteinn), чтобы прорекламировать открытие своего шоу «Lightworks at L’Oursin» в Саутгемптоне, Нью-Йорк, Лонг-Айленд, в июле 1966 года^[2]. Возможно, Голдстейн был знаком с американским художником Dick Higgins, который двумя годами ранее обсуждал новый подход к созданию искусства, названный им «интермедиа»^[3].

10 августа 1966 года Ричард Альбарино из Variety заимствовал этот термин, написав: «Детищем автора песен-комика Боба ('Washington Square') Голдстейна, 'Lightworks' является последней мульти-медиа музыкой с визуальными эффектами, дебютировавшей как дискотечное шоу.»^[4] Два года спустя, в 1968 году, термин «мультимедиа» был вновь использован для описания работы политического консультанта Дэвида Сойера, мужа Айрис Сойер — одной из продюсеров Голдстейна на L’Oursin.

За последующие сорок лет слово приобрело различные значения. В конце 1970-х термин относился к презентациям, состоящим из мульти-проекторных слайд-шоу, синхронизированных с аудиодорожкой. Однако к 1990-м годам «мультимедиа» приобрела современное значение.

В первом издании книги Multimedia: Making It Work (1993) Тэй Вон заявил: «Мультимедиа — это любая комбинация текста, графики, звука, анимации и видео, предоставляемая с помощью компьютера. Когда вы позволяете пользователю — зрителю проекта — управлять тем, что и когда будет показано, это интерактивная мультимедиа. Когда вы предоставляете структуру связанных элементов, по которой пользователь может перемещаться, интерактивная мультимедиа становится гипермедиа»^[5]. В книге содержалось программное обеспечение Tempra Show. Это была более поздняя, переименованная версия мультимедийного ПО для DOS 1985 года VirtulVideo Producer, о котором Смитсоновский институт заявил: «Это одна из первых, если не первая, мультимедийная система авторинга на рынке».

Немецкое языковое общество Gesellschaft für deutsche Sprache отметило значимость и повсеместность этого слова в 1990-х, присвоив ему звание «Слово года» в Германии в 1995 году^[6]. Институт обосновал свой выбор так: «[Мультимедиа] стало центральным словом в удивительном новом мире медиа»^[7].

В обиходе мультимедиа означает использование нескольких средств коммуникации, включая видео, статические изображения, анимацию, аудио и текст, так, чтобы к ним можно было получить интерактивный доступ. Видео, изображения, анимация, аудио и письменный текст — это строительные блоки, на которых строится мультимедиа. В 1990-х некоторые компьютеры назывались «мультимедийными компьютерами» благодаря достижениям в графике и звуке, например, Amiga 1000, способная отображать 4096 цветов (12-битный цвет), выводить изображение на телевизоры и видеомагнитофоны, а также воспроизводить четырёхголосое стерео^[8]. Важную роль сыграли и изменения в технологиях сменных носителей: стандартный CD-ROM вмещает в среднем 700 мегабайт данных, тогда как максимальный объём 3,5-дюймовой дискеты — 2,8 мегабайта, а средний — 1,44 мегабайта^[9]. Больший объём хранения позволил использовать более крупные цифровые медиафайлы и, соответственно, создавать более сложные мультимедийные проекты.

Термин «видео», если не используется исключительно для обозначения кинематографии, неоднозначен в терминологии мультимедиа. Видео часто обозначает файловый, транспортный или презентационный формат, в отличие от «видеоматериала», который используется для различения движущихся фотографий и «анимации» сгенерированных изображений. Множество форм информационного контента часто не считаются современными формами презентации, например, аудио или видео. Аналогично, отдельные формы контента с единственным способом обработки информации (например, неинтерактивное аудио) часто называют мультимедиа, возможно, чтобы отличить статические медиа от активных. В изобразительном искусстве, например, Leda Luss Luyken с проектом ModulArt привносит два ключевых элемента музыкальной композиции и кино в живопись: вариацию темы и движение внутри картины, делая ModulArt интерактивной мультимедийной формой искусства. Сценические искусства также могут считаться мультимедиа, поскольку исполнители и реквизит представляют собой различные формы как контента, так и медиа.

В современности мультимедийным устройством можно назвать электронное устройство, такое как смартфон, игровая система или компьютер. Каждое из этих устройств имеет основную функцию, но также может использоваться для других целей: чтения, письма, записи видео и аудио, прослушивания музыки, игр. Это привело к появлению термина «мультимедийное устройство». Если раньше медиа всегда были локальными, то сейчас многие из них обрабатываются через веб-решения, особенно потоковые сервисы.

Мультимедийные презентации — это презентации, включающие несколько типов медиа. К ним относятся текст, графика, аудио, видео и анимация. Эти различные типы медиа передают информацию целевой аудитории и эффективно с ней взаимодействуют. Видео — отличный визуальный пример для мультимедийных презентаций, так как они могут служить наглядным пособием для идей докладчика. Они широко используются в образовании и других сферах, помогая студентам и работникам быстро усваивать информацию и легко хранить её. Другой пример — диаграммы и графики, позволяющие наглядно показать тенденции на основе данных исследований. Это даёт аудитории визуальное представление о возможностях и результатах компании^[10]. Аудио также помогает понять сообщение, поскольку большинство современных видео сопровождаются звуком для повышения эффективности, а анимация упрощает восприятие с точки зрения докладчика. Эти технологические методы обеспечивают эффективную коммуникацию и понимание для широкой аудитории с разными возможностями в различных областях.

Мультимедийные игры и симуляции могут использоваться в физической среде со спецэффектами, с несколькими пользователями в онлайн-сети, либо локально на автономном компьютере, игровой системе, симуляторе, в виртуальной или дополненной реальности.

Различные форматы технологической или цифровой мультимедиа могут быть предназначены для улучшения пользовательского опыта, например, для более быстрого и простого донесения информации. В индустрии развлечений или искусстве мультимедиа объединяет различные художественные элементы для вовлечения, вдохновения или захвата аудитории.

Повышенный уровень интерактивности достигается за счёт объединения различных форм медиа-контента. Онлайн-мультимедиа всё чаще становится объектно-ориентированной и управляемой данными, что позволяет создавать приложения с совместной инновацией конечного пользователя и персонализацией различных форм контента со временем. Примеры включают сайты с фотогалереями, где изображения (фотографии) и подписи (текст) обновляются пользователями, а также симуляции, параметры которых, события, иллюстрации, анимации или видео можно изменять, что позволяет менять «опыт» мультимедиа без перепрограммирования. Помимо зрения и слуха, гаптические технологии позволяют ощущать виртуальные объекты. Новые технологии, связанные с иллюзиями вкуса и запаха, также могут обогатить мультимедийный опыт.

Мультимедиа можно условно разделить на линейную и нелинейную:

• Линейный активный контент обычно воспроизводится без навигационного управления, фокусируясь на том, чтобы пользователь просмотрел всё произведение, вовлекая его эмоционально и сенсорно, как при киносеансе;
• Нелинейный использует интерактивность для управления ходом, как в видеоиграх или самостоятельном компьютерном обучении, где действия пользователя влияют на происходящее в виртуальном мире. Гипермедиа — пример нелинейного контента.

Мультимедийные презентации могут быть как живыми, так и записанными:

• Записанная презентация может позволять интерактивность через навигационную систему;
• Живая мультимедийная презентация может позволять интерактивность через взаимодействие с докладчиком или исполнителем.

Мультимедиа находит применение в различных областях, включая, но не ограничиваясь, рекламой, искусством, образованием, развлечениями, инженерией, медициной, математикой, бизнесом, научными исследованиями и пространственно-временными приложениями. Примеры:

Креативные индустрии используют мультимедиа для различных целей: от изобразительного искусства, развлечений, коммерческого искусства, журналистики до медиа- и программных услуг для всех перечисленных отраслей. Один мультимедийный дизайнер может охватить весь спектр за свою карьеру. Запросы на их навыки варьируются от технических до аналитических и творческих. Мультимедиа, а особенно интерактивность мультимедийных форм, лежит в основе большинства современных креативных проектов в интернете. Microsoft — одна из крупнейших компьютерных компаний мира, и её успех во многом основан на способности мультимедийных дизайнеров оптимизировать пользовательский опыт при взаимодействии с продуктами компании.

Коммерциализация и маркетинг продуктов компаниями сегодня всё больше зависят от продвинутых форм интерактивной мультимедиа для сложных тактик и удержания клиентов. Рекламные агентства активно используют социальные интерфейсы и телевидение для продвижения товаров, а рекламные сайты и всплывающие окна требуют кратких и эффективных методов воздействия на потенциальных клиентов. Используя эти платформы, компании могут донести своё сообщение или убедить целевую аудиторию. Внутренние и внешние офисные коммуникации часто разрабатываются нанятыми креативными агентствами для наглядного представления информации в различных ситуациях. Примеры варьируются от более интересных презентаций до обучения новых сотрудников политике компании с помощью мультимедиа. Коммерческие разработчики мультимедиа могут быть наняты для создания решений для государственных и некоммерческих приложений, например, для создания сайтов и рекламных кампаний. Кроме того, важной практикой коммерческой рекламы стало использование анализа данных на мультимедийных платформах для корректировки маркетинговых стратегий на основе полученной информации о целевой аудитории^[11]. В последние годы появилась новая тенденция: цифровые билборды, размещённые на фасадах зданий и обёрнутые вокруг них. Эти ролики создаются под разными углами, чтобы мозг воспринимал их как трёхмерные, будто они выходят за пределы экрана, что делает их особенно заметными и эффективными для коммерческих целей.

Мультимедиа широко используется в индустрии развлечений, особенно для создания спецэффектов в кино и анимации (VFX, 3D-анимация и др.). Мультимедийные игры — популярное развлечение, доступное как на CD-ROM, так и онлайн. Видеоигры считаются мультимедиа, так как объединяют анимацию, аудио и интерактивность для создания погружения. Хотя видеоигры могут отличаться по стилю анимации или типу звука, элемент интерактивности делает их ярким примером интерактивной мультимедиа. Интерактивная мультимедиа — это мультимедийные приложения, позволяющие пользователю активно участвовать, а не быть пассивным получателем информации. В искусстве существуют мультимедийные художники, сочетающие различные техники и взаимодействие со зрителем. Другой подход — создание мультимедиа для показа в традиционных художественных пространствах, например, в галереях. Видео стало неотъемлемой частью многих концертов и театральных постановок, а также открыло новые возможности для профессионалов медиа. Хотя мультимедийные материалы могут быть недолговечны, их сохранность не уступает традиционным носителям.

В образовании мультимедиа используется для создания компьютерных обучающих курсов (CBT) и справочных изданий, таких как энциклопедии и альманахи. CBT позволяет пользователю проходить серию презентаций, текст по определённой теме и сопутствующие иллюстрации в различных форматах.

Теория обучения за последнее десятилетие значительно расширилась благодаря внедрению мультимедиа. Появились новые направления исследований, например, когнитивная нагрузка и обучение с помощью мультимедиа.

На основе теории мультимедийного обучения (MML) Дэвид Робертс разработал практику проведения больших лекций с использованием PowerPoint и полноэкранных изображений при минимальном количестве видимого текста (весь текст можно разместить в разделе заметок PowerPoint)^[12]. Метод был применён и оценён в 9 дисциплинах. В каждом эксперименте вовлечённость и активное обучение студентов были примерно на 66 % выше, чем при подаче того же материала с помощью маркированных списков, текста и речи, что подтверждает теории учёных в области мультимедийного обучения, таких как Свеллер и Майер^[13]. Идея медийной конвергенции также становится важным фактором в образовании, особенно высшем. Под этим понимается объединение отдельных технологий, таких как голос (и телефонные функции), данные (и офисные приложения) и видео, которые теперь используют общие ресурсы и взаимодействуют друг с другом, что быстро меняет учебные программы университетов по всему миру. Вузы внедряют социальные медиа, такие как Twitter, YouTube, Facebook и др., чтобы повысить сотрудничество студентов и развивать новые способы передачи информации^[14].

Мультимедиа предоставляет студентам альтернативные способы получения знаний, направленные на улучшение преподавания и обучения с помощью различных медиа и платформ. В 1960-х технология начала проникать в классы через такие устройства, как экраны и телепишущие машины^[15]. Эта технология позволяет студентам учиться в собственном темпе, а преподавателям — учитывать индивидуальные потребности каждого. Возможность использования мультимедиа в междисциплинарныех областях строится вокруг идеи создания практико-ориентированной среды обучения с помощью технологий. Занятия могут быть адаптированы к предмету и уровню знаний студентов. Учебный контент можно организовать с помощью мультимедийных платформ. Такой подход способствует интерактивному общению между студентами и преподавателями, открывает каналы обратной связи и формирует активный процесс обучения, особенно с распространением новых медиа и социальных сетей^[16]. Технологии повлияли на мультимедиа, поскольку она тесно связана с использованием компьютеров и других электронных устройств, а также цифровых медиа благодаря возможностям для исследований, коммуникации, решения задач через симуляции и получения обратной связи^[17]. Инновации в образовании с помощью мультимедиа способствуют разнообразию в классах и улучшают общий опыт обучения^[18].

В образовании видеоигры, особенно динамичные, могут значительно улучшать когнитивные способности, связанные с вниманием, переключением задач и устойчивостью к отвлекающим факторам. Исследования показывают, что, хотя игры могут отнимать время от учёбы, их внедрение в учебную программу увеличивает вероятность переключения внимания на учебные цели^[19].

Мультимедиа — эффективная образовательная методика в контексте социальной работы. Пять различных типов мультимедиа, поддерживающих образовательный процесс: нарративные медиа, интерактивные медиа, коммуникативные медиа, адаптивные медиа и продуктивные медиа. Вопреки распространённому мнению, мультимедийные технологии в обучении социальной работе существовали ещё до появления интернета. Они включают изображения, аудио и видео в учебные программы.

Впервые мультимедийные технологии были внедрены в обучение социальной работе Сибери и Мейпл в 1993 году для преподавания практических навыков, включая интервьюирование, кризисное вмешательство и групповую работу. В сравнении с традиционными методами, включая очные курсы, мультимедийное обучение сокращает время на дорогу, увеличивает знания и уверенность, создаёт более насыщенный и аутентичный контекст для обучения, способствует взаимодействию между онлайн-пользователями и улучшает понимание концептуальных материалов для начинающих студентов.

В исследовании Элизабет Кобл и Линды П. Тёрстон использовалась интерактивная мультимедийная платформа Building Family Foundations (BFF) для оценки влияния мультимедийных технологий на знания, отношение и самоэффективность студентов социальной работы. Результаты показали значительный рост академических знаний, уверенности и отношения. Мультимедиа также полезна тем, что позволяет привлекать экспертов онлайн, подстраиваться под расписание студентов и выбирать подходящие курсы.

Когнитивная теория мультимедийного обучения Майера утверждает, что «люди учатся лучше с помощью слов и картинок, чем только с помощью слов». По мнению Майера и других учёных, мультимедийные технологии стимулируют мозг за счёт визуальных и аудиовоздействий, помогая онлайн-пользователям учиться эффективнее. Исследования показывают, что при использовании двух каналов восприятия обучение и запоминание улучшаются. Эта теория до сих пор обсуждается в области мультимедиа и социальной работы^[20][21].

С распространением и развитием английского языка по всему миру мультимедиа стала важным способом коммуникации между разными людьми и культурами. Мультимедийные технологии создают платформу для обучения языкам. Традиционная форма преподавания английского как второго языка в классах значительно изменилась с появлением технологий, что облегчило получение языковых навыков. Мультимедиа мотивирует изучать языки с помощью аудио, визуальных и анимационных средств. Она также помогает создавать языковую среду, поскольку важным аспектом изучения языка является развитие грамматики, словарного запаса и знаний о прагматике и жанрах. Кроме того, необходимо формировать культурные связи в терминах форм, контекстов, значений и идеологий. Улучшая мышление, мультимедиа развивает коммуникативную компетентность студентов, повышая их способность понимать язык^[22]. В одном из исследований Изкиердо, Симар и Пулидо была выявлена корреляция между «мультимедийным обучением (MI) и изучением второго языка (L2)»^[23] и его влиянием на поведение учащихся. Их выводы, основанные на теории Гарднера «социо-образовательной модели мотивации и отношения учащихся», показывают, что мультимедийное обучение облегчает доступ к материалам и повышает мотивацию, а также способствует использованию компьютерных технологий.

Газеты по всему миру стараются внедрять новые мультимедийные практики в свою работу. Некоторые делают это медленно, другие, такие как The New York Times, USA Today и The Washington Post, задают тон для всей отрасли в условиях глобализации. Чтобы идти в ногу с изменениями, журналистика внедряет различные мультимедийные функции, включая визуальные элементы, аудио, видео, текст и др^[24].

Новостные репортажи не ограничиваются традиционными СМИ. Фрилансеры могут использовать новые медиа для создания мультимедийных материалов для своих новостей. Это позволяет охватить глобальную аудиторию и рассказывать истории с помощью технологий, развивая новые методы коммуникации для производителей и потребителей медиа. Примером такого мультимедийного журналистского проекта является Common Language Project, позже переименованный в The Seattle Globalist.

Мультимедийных журналистов, работающих в мобильном режиме (обычно с камерами, аудио- и видеорекордерами, ноутбуками), часто называют mojo — мобильными журналистами.

Инженер-программисты могут использовать мультимедиа в компьютерных симуляциях для развлечений или обучения, например, военной или промышленной подготовки. Мультимедиа для интерфейсов программ часто разрабатывается совместно креативными специалистами и инженерами-программистами. Мультимедиа расширяет методы преподавания в инженерии, позволяя внедрять инновационные подходы не только для обучения будущих инженеров, но и для развития понимания применения мультимедиа в специализированных инженерных профессиях, например, у программистов^[25].

Мультимедиа также позволяет крупным автопроизводителям, таким как Ford и General Motors, совершенствовать дизайн и стандарты безопасности автомобилей. Используя игровые движки и очки виртуальной реальности, компании могут тестировать функции безопасности и дизайн автомобиля до создания прототипа. Виртуальное моделирование сокращает время на разработку новых моделей, позволяет вносить изменения в реальном времени и снижает расходы, так как отпадает необходимость в создании физических прототипов^[26].

В математических и научных исследованиях мультимедиа в основном используется для моделирования и симуляции с помощью двоичного кода. Например, учёный может рассматривать молекулярную модель вещества и изменять её для получения нового соединения. Соответствующие исследования публикуются в журналах, таких как Journal of Multimedia. Известный пример — фильм Интерстеллар, где исполнительный директор Кип Торн помог создать одну из самых реалистичных визуализаций чёрной дыры в кино. Команда под руководством Пола Франклина использовала математические данные Кипа Торна и собственный движок визуальных эффектов «Double Negative Gravitational Renderer» («Gargantua») для создания «реальной» чёрной дыры в финальной версии фильма. Позже команда опубликовала научную работу о чёрной дыре.

Медицинские специалисты и студенты имеют широкий выбор способов изучения новых техник и процедур с помощью интерактивных медиа, онлайн-курсов и лекций. Методы передачи информации студентам значительно изменились благодаря мультимедиа. С XIX века уроки часто проводились с использованием классных досок. В 1960-х появились проекционные устройства, такие как эпидиаскопы и слайд-проекторы^[27]. С ростом использования компьютеров медицина начала внедрять новые устройства и процедуры для обучения студентов, проведения операций и анализа данных пациентов, а также для предоставления этой информации пациентам в удобной форме^[28].

Виртуальная реальность — технология, создающая имитированную среду, часто с помощью компьютерной графики или сочетания реального и виртуального контента, чтобы погрузить пользователя в интерактивный и реалистичный опыт. Цель виртуальной реальности — создать ощущение физического присутствия в другой среде, хотя пользователь физически остаётся в реальном мире. Виртуальная реальность применяется в играх, образовании, здравоохранении, обучении и развлечениях. В играх пользователи могут перемещаться в фантастические миры, получая более глубокий опыт. В образовании VR позволяет проводить реалистичные тренировки, давая возможность отрабатывать навыки в безопасной среде. Медицинские работники используют VR для терапии и обучения. ВВС США применяют VR для подготовки новых пилотов, чтобы симулировать управление самолётом^[29]. Это позволяет новичкам учиться в безопасной среде и привыкать к управлению до реального полёта.

Шлем виртуальной реальности (HMD): пользователь надевает гарнитуру, закрывающую глаза и уши, обеспечивающую визуальные и аудиостимулы. Встроенные экраны отображают виртуальную среду, а некоторые модели оснащены динамиками или наушниками.

Отслеживание движений: сенсоры фиксируют движения пользователя, позволяя взаимодействовать с виртуальным миром. Это может включать движения головы, жесты рук и даже всего тела, усиливая эффект погружения.

Устройства ввода: контроллеры или другие устройства используются для взаимодействия с виртуальной средой. Они могут имитировать руки или инструменты, позволяя манипулировать объектами или перемещаться в виртуальном пространстве.

Вычислительная обработка: для создания и рендеринга сложной графики и симуляций требуются мощные компьютеры или игровые консоли.

Дополненная реальность накладывает цифровой контент или вывод на реальный мир с помощью медиа, таких как аудио, анимация и текст. Дополненная реальность стала широко популярной только в XXI веке; однако ранними примерами были контроллер Activator для Sega Genesis (1992), позволявший управлять движением в игре с помощью движений тела, и R.O.B. — робот для NES (1984), который с аксессуарами позволял, например, имитировать стрельбу. Эти устройства ввода — одни из первых примеров дополненной реальности, позволяющих пользователю по-новому взаимодействовать с игрой. Более современный пример — Pokémon GO, мобильная игра, выпущенная 6 июля 2016 года, позволяющая видеть покемонов в реальном окружении.