Видео стало основным способом передачи новостей, развлекательного и образовательного контента, а также ключевым элементом игр, виртуальной (VR) и дополненной реальности (AR). Однако для разработчиков, работающих с видео, по-прежнему актуальны проблемы кодирования, передачи и декодирования высококачественных потоков в больших объёмах.
Традиционные видеокодеки требуют значительных ресурсов пропускной способности, вычислительных мощностей и объёма хранилища. Стремление к оптимизации часто приводит к компромиссам между качеством и производительностью. Однако, современные технологии сжатия видео, в частности, кодек AV1, предлагают более эффективный подход.
В этой статье мы рассмотрим архитектуру AV1, его практическое применение и ограничения. Также мы рассмотрим 10 распространённых сценариев использования и сложности перехода от устаревших кодеков, которые были отраслевыми стандартами на протяжении многих лет.
Давайте начнём.
Что такое AV1
AV1 или AOMedia Video 1 – это эффективный метод кодирования и передачи высококачественного видео. Этот видеокодек практически исключает буферизацию при потоковой передаче фильмов, просмотре спортивных событий в прямом эфире, участии в многопользовательских онлайн-играх или потреблении онлайн-видео через любое приложение.
Чтобы понять, как развивалась технология, приведшая к появлению AV1, нужно обратиться к недавней истории в этой области:
- В марте 2003 года был выпущен стандарт H.264 Advanced Video Coding (AVC), разработанный в рамках совместного проекта двух международных организаций по стандартизации: ITU-T Video Coding Experts Group (VCEG) и ISO/IEC Moving Picture Experts Group (MPEG). Однако, использование H.264 было ограничено патентами, принадлежащими нескольким сторонам, что требовало выплаты роялти за его использование.
- В мае 2003 года компания On2 Technologies выпустила бесплатный для личного использования кодек TrueMotion VP6, но с лицензией на коммерческое использование.
- В марте 2005 года On2 Technologies выпустила свой кодек TrueMotion VP7 на тех же условиях.
- В сентябре 2008 года On2 Technologies выпустила свой кодек TrueMotion VP8 на тех же условиях.
- В феврале 2010 года Google приобрела On2 Technologies. Вскоре после этого VP8 был перевыпущен под лицензией BSD.
- В июне 2013 года ITU-T VCEG и ISO/IEC MPEG отреагировали на технические недостатки H.264 (AVC) и объявили о стандарте H.265 High Efficiency Video Coding (HEVC), за использование которого также взимались роялти из-за патентной защиты.
- В июне 2013 года Google представила VP9 как открытый и бесплатный формат кодирования видео.
В 2015 году AOMedia разработала AV1, следуя тому же пути свободного и открытого программного обеспечения (FOSS). AOMedia – это консорциум, созданный Google, в который входят Amazon, Apple, Intel, Meta, Microsoft, Mozilla и Netflix. Их целью было расширить функциональность VP9 для обеспечения улучшенного сжатия и большей эффективности.
Преимущества кодека AV1
Компания AOMedia создала AV1 как новый стандарт, который превосходит VP9 и HEVC по эффективности при незначительном увеличении сложности кодирования. Этот стандарт был специально разработан для приложений реального времени, особенно для WebRTC. Он обеспечивает более высокое разрешение, чем кодеки предыдущего поколения, с более широкими цветовыми охватами, более высокой частотой кадров и поддержкой UHD.
AV1 решает несколько важных задач:
- Отсутствие лицензионных сборов: AV1 не требует оплаты за использование.
- Более эффективное сжатие: исследования показывают, что AV1 обеспечивает сжатие на 30-50 % лучше, чем VP9 и HEVC, при сохранении того же визуального качества. Это снижает требования к пропускной способности.
- Открытый доступ: исходный код AV1 доступен для разработчиков и компаний, что позволяет им интегрировать его в свои продукты.
- Перспективная потоковая передача видео: AV1 разработан для приложений, работающих с разрешением 4K, 8K, HDR и VR/AR.
Ограничения на использование кодека AV1
Несмотря на множество преимуществ, повсеместное внедрение AV1 сталкивается с определёнными сложностями. Ключевой проблемой является вычислительная сложность, которая выявила ограничения существующей аппаратной базы.
Интересно, что «защищённый от будущих требований» видеокодек не может обеспечить плавное воспроизведение видео в высоком разрешении (4K или 8K) без аппаратного ускорения. Это не осталось незамеченным в отрасли.
В результате отрасль оказалась в состоянии стагнации, так как производители ждали, пока поставщики оборудования добавят аппаратное ускорение в новые продукты. Затем они ждали, пока эти продукты выйдут за рамки стадии раннего внедрения и станут значительной частью установленной базы.
Существует ещё одна установленная база, вокруг которой сформировалось сопротивление. Вещатели и телевизионные сети создали обширную инфраструктуру вокруг H.264/HEVC или VP9. Для перехода на AV1 им необходимо перекодировать свои обширные библиотеки контента – это значительные инвестиции, которые пока могут быть неоправданными.
Потребление энергии на мобильных устройствах также является препятствием для программного декодирования AV1. Аппаратная поддержка AV1 начала появляться на мобильных телефонах и планшетах только около 2023 года, поэтому полное развёртывание ещё впереди.
- 2024-2025: широкая поддержка аппаратного декодирования на новых устройствах.
- 2025-2027: поддержка аппаратного кодирования сделает AV1 пригодным для использования в приложениях потоковой трансляции и вещания.
- 2027: исходя из текущих темпов внедрения, AV1 должен заменить VP9 и HEVC в большинстве потоковых приложений.
Типичные случаи использования AV1
Существует множество способов применения AV1 и не меньше сред, в которых его можно применить. Мы рассмотрели некоторые из наиболее распространённых и некоторые, которые, возможно, вам не приходили в голову.
Все эти способы объединяет то, что они основаны на способности AV1 обеспечивать высококачественную потоковую передачу с минимальной задержкой и при этом экономить трафик.
-
AV1: стриминговые сервисы
AV1 – это формат, который идеально подходит для потоковых сервисов, особенно для видео в реальном времени. Его преимущество в том, что он сжимает видео на 30-50% эффективнее, чем устаревший стандарт H.264.
Это позволяет значительно снизить использование пропускной способности без потери качества изображения. AV1 уже используется в сервисах видео по запросу, таких как YouTube, Vimeo и других платформах, для предоставления высококачественного видео с меньшими требованиями к объёму данных. А благодаря эффективному сжатию, он также обеспечивает минимальную задержку в приложениях для потоковой передачи в реальном времени.
-
AV1: социальные медиа-платформы
Будучи одним из учредителей консорциума AOMedia, Meta оказалась в числе первых, кто отреагировал. В ноябре 2022 года компания объявила о внедрении AV1 на FB и IG Reels.
В дальнейшем в своём блоге Meta сообщила, что AV1 обеспечивает на 30% более эффективное сжатие данных по сравнению с VP9 и HEVC. Это позволяет получать видео более высокого качества при использовании меньшего объёма полосы пропускания и максимальной экономии места для хранения. Благодаря этому Meta смогла уменьшить исходящий трафик, а также снизить нагрузку на CDN, связанную с предварительной выборкой и кэшированием, а также перегрузку сети.
-
AV1: инструменты для видеоконференций
Компании Cisco, Google и Microsoft уже внедрили новый кодек AV1 в свои платформы для проведения видеоконференций, а также такие сервисы, как Zoho Meeting и Zoom.
Это решение имеет ряд преимуществ. Во-первых, оно обеспечивает высокое качество видео при меньших затратах на пропускную способность и с меньшей задержкой. Это особенно важно, когда участники конференции находятся в удалённых регионах, где пропускная способность ограничена или нестабильна.
-
AV1: игровые приложения
Характеристики, которые делают AV1 оптимальным для других сценариев применения, также подходят для онлайн- и облачных игровых приложений, таких как NVIDIA GeForce NOW, Xbox Cloud Gaming и PlayStation Now.
В процессе воспроизведения игр на удалённых серверах используется технология потоковой передачи видео, которая обеспечивает погружение в игровой процесс.
Эффективное сжатие видео – это преимущество для мобильных геймеров и пользователей с ограниченным трафиком, так как оно позволяет снизить битрейт без потери качества. Это также делает онлайн-игры более доступными в регионах с дорогим интернет-соединением.
Хотя ограничения оборудования и время кодирования всё ещё могут быть препятствием, разработчики активно работают над их преодолением.
-
AV1: виртуальная реальность (VR) и дополненная реальность (AR)
Те же принципы, которые работают для онлайн- и облачных игр, актуальны и для приложений виртуальной реальности (VR) и дополненной реальности (AR), возможно, даже в большей степени.
Для создания захватывающих впечатлений в VR и AR критически важно обеспечить высокое разрешение и частоту кадров видеопотока. Хотя технология сжатия AV1 может эффективно передавать такие потоки, существуют определённые ограничения. Однако современные устройства решают эту проблему с помощью встроенного аппаратного ускорения.
-
AV1: телевидение и Over-the-Top (OTT)
Услуги вещательного телевидения и Over-the-Top (OTT) – ещё один отличный вариант для AV1. Он обеспечивает превосходную эффективность сжатия, улучшенное качество видео и экономию средств. Однако, аппаратные ограничения, проблемы стандартизации и устаревшая инфраструктура сдерживают переход.
Эти сервисы позволяют передавать видеоконтент через интернет на различные устройства. Как и в других случаях, успешное внедрение будет зависеть от наличия декодирующего оборудования в устройствах.
Некоторые из этих сервисов уже достигли значительных успехов в развитии:
- Netflix начал использовать AV1 для потоковой передачи на мобильных устройствах в 2020 году, а в 2022 году добавил поддержку некоторых смарт-телевизоров и потоковых устройств.
- YouTube начал тестировать AV1 для некоторых видео в 2018 году и сделал его стандартом для потоковой передачи 4K/8K на совместимых устройствах в 2020 году. С 2023 года компания продвигает AV1 для всех новых видеокодеков.
- Amazon Prime Video экспериментирует с AV1 для определённого контента 4K и HDR.
- Disney+, Hulu и HBO Max рассматривают возможность использования AV1 в будущем.
- Twitch тестирует поддержку AV1, но требует повсеместного внедрения аппаратного кодирования.
-
AV1: интернет вещей и интеллектуальные устройства
Использование AV1 в IoT (Интернете вещей) и интеллектуальных устройствах активно расширяется. Эти устройства обрабатывают всё больше видео в режиме реального времени, а также осуществляют наблюдение и коммуникацию.
Благодаря отличным возможностям сжатия и энергоэффективности, этот кодек идеально подходит для сред с ограниченной пропускной способностью и низким энергопотреблением, таких как интеллектуальные камеры, мобильные устройства и встроенные системы.
Однако, есть и ограничения. Например, поддержка аппаратного декодирования пока ограничена, и многие недорогие устройства IoT не имеют выделенных аппаратных декодеров AV1. Только более новые чипсеты, такие как MediaTek Dimensity, Snapdragon 8 Gen 2, Apple A17, Intel Arc, NVIDIA и AMD RDNA 3, могут эффективно декодировать AV1.
Кроме того, кодирование AV1 требует больших вычислительных ресурсов, что затрудняет обработку в режиме реального времени для большинства маломощных чипов IoT. Ограничения по времени работы от аккумулятора в таких устройствах, как носимые устройства, дверные звонки и камеры безопасности, указывают на необходимость более эффективного оборудования для AV1.
Внедрение AV1 происходит медленно, поскольку старые устройства IoT всё ещё используют H.264/VP9 и потоковые протоколы, такие как HTTP Live Streaming (HLS) и DASH. Кроме того, платформы умного дома не поддерживают AV1 в полном объёме.
-
AV1: видеоархивы и обмен файлами
AV1 – это эффективный инструмент сжатия, который идеально подходит для работы с видеоархивами, облачными хранилищами и платформами для обмена файлами. Он позволяет уменьшить размер файлов без потери качества и контролировать расходы, предоставляя лицензии без необходимости платить роялти.
Хотя использование AV1 не требует значительных усилий со стороны сервера, есть ограничения, связанные с аппаратным декодированием и кодированием на стороне клиента, что затрудняет его внедрение. Старые устройства и медиаплееры не поддерживают AV1, для воспроизведения которого требуются современные графические процессоры, смартфоны или программное декодирование. Кроме того, перекодировка большого архива может занять много времени.
Тем не менее, AV1 всё чаще используется облачными сервисами хранения, платформами для обмена видео и цифровыми архивами, чтобы снизить затраты на хранение и повысить эффективность потоковой передачи. Например, Google Drive, Dropbox и OneDrive используют AV1 для оптимизации хранения.
-
AV1: мобильные приложения
Хотя AV1 широко используется в различных сферах, он был разработан и оптимизирован с учётом особенностей мобильного мира. Несмотря на то, что Netflix и YouTube создали обширные библиотеки контента, закодированного с помощью AV1, только в прошлом году или около того на смартфонах и планшетах появилась аппаратная поддержка этого формата.
Однако, в мобильном мире всё меняется очень быстро. Благодаря превосходному сжатию, высокому качеству при низких битрейтах и энергоэффективности, AV1 произведёт революцию в потоковой передаче, видеозвонках, играх и социальных сетях. Это обеспечит более плавное воспроизведение, снижение требований к хранилищу и пропускной способности, а также увеличение времени работы аккумулятора.
-
AV1: периферийные вычисления
В сфере периферийных вычислений AV1 уже оказывает значительное влияние. В этом контексте особенно важны такие аспекты, как обработка видео в режиме реального времени, видеопотоки с минимальной задержкой и эффективность использования пропускной способности.
Благодаря более эффективному сжатию и высокому качеству AV1 позволяет снизить нагрузку на пропускную способность, улучшить работу с видео и оптимизировать задачи по передаче данных в облако.
Когда кодирование и декодирование видео происходит непосредственно на границе сети, это обеспечивает более эффективную обработку видео.
Существует несколько подходов, которые уже используются для повышения скорости кодирования на границе:
- Использование аппаратного ускорения с помощью графических процессоров, специализированных интегральных схем (ASIC), программируемых логических интегральных схем (FPGA) и т.д.
- Применение быстрых режимов, в которых скорость имеет приоритет перед эффективностью сжатия или качеством.
- Использование суперблоков и кодирования на основе плиток для многопоточной обработки.
- Применение искусственного интеллекта для прогнозирования оптимальных настроек сжатия.
Главные проблемы внедрения AV1
Большинство уверены, что AV1 станет основным стандартом для сжатия и распаковки видео, но для этого потребуется время.
В настоящее время существует несколько препятствий, которые мешают AV1 полностью вытеснить H.264 и H.265.
Вот две основные проблемы:
- Устаревшее оборудование. Производители должны будут добавить поддержку сжатия и распаковки AV1 во все свои продукты, но это займёт время.
- Аппаратное и программное обеспечение. Декодирование AV1 с помощью оборудования может быть в пять раз быстрее и в четыре раза более энергоэффективным, чем с помощью программного обеспечения. Эта ситуация вряд ли изменится в ближайшее время.
AV1: будущее видео
Утверждать, что AV1 совершил революцию в сфере потокового видео, возможно, преждевременно. Несомненно, его эффективность сжатия, высокое качество видео, снижение затрат на хранение и уменьшение сетевой нагрузки оказали значительное влияние. То, что он способен достичь этого при более низких битрейтах, – это просто дополнительный плюс.
Однако, в сфере технологий всегда есть свои ограничения. В случае с AV1 главным из них является его сложность, которая требует больших вычислительных мощностей. Но, как только оборудование, поддерживающее AV1, станет более распространённым, ситуация изменится.
Это займёт время, но, как уже показали Meta, Netflix и YouTube, внедрение AV1 с использованием программного кодирования сейчас может дать вам преимущество первопроходца. По мере того как аппаратное кодирование становится доступным, это преимущество будет только усиливаться.
Часто задаваемые вопросы о кодеке AV1
Как AV1 соотносится с другими видеокодеками, такими как H.264, HEVC и VP9?
В сравнении с другими кодеками, такими как H.264, HEVC и VP9, AV1 демонстрирует более высокую степень сжатия при сохранении качества изображения. Это позволяет значительно снизить требования к пропускной способности.
В отличие от H.264 и HEVC, за использование которых необходимо платить роялти, AV1 не требует лицензионных отчислений, что делает его привлекательным выбором для разработчиков и компаний, стремящихся оптимизировать расходы. Однако, AV1 требует более мощных вычислительных ресурсов, поэтому для достижения оптимальной производительности необходимо использовать специализированное оборудование.
Как AV1 влияет на работу WebRTC и общение в реальном времени?
AV1 оптимизирован для приложений, работающих в режиме реального времени, таких как WebRTC. Это позволяет достичь лучшего качества видео при более низком битрейте, что особенно важно для видеоконференций, игр и приложений дополненной и виртуальной реальности.
Однако, для достижения эффективности кодирования в режиме реального времени необходимо широкое распространение аппаратной поддержки.
Как AV1 влияет на стоимость хранения и пропускную способность?
Благодаря превосходному сжатию AV1 позволяет уменьшить размер видеофайлов и снизить требования к пропускной способности при потоковой передаче. Это приводит к снижению затрат на доставку контента для облачных хранилищ, CDN и потоковых сервисов. Такая эффективность особенно важна для платформ, работающих с большими объёмами видеоданных.
