Відеоаналітика

Аналіз відеоконтенту (англ. Video content analysis або video content analytics, VCA), також відомий як аналіз відео або відеоаналітика (VA) ― це можливість автоматичного аналізу відео для виявлення та визначення часових і просторових подій.

Ця технічна можливість використовується в широкому діапазоні областей, включаючи розваги[1], пошук[en] та перегляд[en] відео,[2] охорону здоров'я, роздрібну торгівлю, автомобільну промисловість, транспорт, розумний дім, виявлення полум'я та диму, безпеку.[3] Алгоритми можуть бути реалізовані як програмне забезпечення на машинах загального призначення, або як апаратні засоби в спеціалізованих блоках обробки відео.

У відеоаналітиці можна реалізувати багато різних функцій. Video Motion Detection ― це одна з найпростіших форм, де виявляється рух відносно фіксованої фонової сцени. Більш розширені функції включають відстеження відео[4] та оцінку егоемоцій.[5]

На основі внутрішнього уявлення, яке VCA генерує при обробці відео, можна створити інші функції, такі як підсумовування відео,[6] ідентифікація[en], аналіз поведінки або інші форми усвідомлення ситуації.

Відеоаналітика покладається на якісне вхідне відео, тому його часто поєднують з технологіями покращення відео, такими як зменшення шуму відео[en], стабілізація зображення, нерізке маскування[en] та надвисока роздільна здатність[en].

Однизи з актуальних завданнь, які вирішує відеоаналітика є:

Функціональні можливості

Кілька статей надають огляд модулів, які беруть участь у розробці відеоаналітичних додатків.[7][8] Це список відомих функцій та їх короткий опис.

Функція Опис
Дінамічне маскування Блокування частини відеосигналу на основі самого сигналу, наприклад, через проблеми конфіденційності.
Виявлення полум'я та диму IP-камери з інтелектуальною технологією відеоспостереження можуть використовуватися для виявлення полум'я та диму за 15 — 20 секунд або навіть менше завдяки вбудованому чіпу DSP. Чіп обробляє алгоритми, які виконують зняті відеозаписи на предмет характеристик полум'я та диму, таких як колірна гамма, коефіцієнт мерехтіння, форма, малюнок та напрямок руху.
Оцінка егоемоцій Оцінка егоемоцій використовується для визначення розташування камери шляхом аналізу її вихідного сигналу.
Виявлення руху Виявлення руху використовується для визначення наявності відповідного руху в спостережувальній сцені.
Розпізнавання форми Розпізнавання форми використовується для розпізнавання форм у вхідному відео, наприклад кола або квадратів. Ця функція зазвичай використовується в більш розширених функціях, таких як виявлення об'єктів.
Виявлення об'єктів Виявлення об'єктів використовується для визначення наявності типу об'єкта чи сутності, наприклад людини чи автомобіля. Інші приклади включають виявлення вогню та диму.
Розпізнавання Розпізнавання облич і автоматичне розпізнавання номерних знаків[en] використовується для розпізнавання, а отже, можливої ідентифікації людей або автомобілів.
Виявлення стилю Визначення стилю використовується в налаштуваннях, де створено відеосигнал, наприклад для кіновиробництва. Виявлення стилю визначає стиль виробничого процесу.[9]
Виявлення несанкціонованого доступу Виявлення несанкціонованого доступу використовується для визначення того, чи була підроблена камера або вхідний сигнал.
Відстеження відео Відстеження відео використовується для визначення місцеперебування людей або об'єктів у відеосигналі, можливо, з урахуванням зовнішньої опорної сітки.
Аналіз рівня помилок (VELA)[en] Аналіз фальсифікації вмісту відеосцени з використанням безкоштовного програмного забезпечення.
Косегментація об’єктів[en] Спільне виявлення об'єктів, класифікація та сегментація цілей в одній або декількох пов'язаних відеорядах.

Комерційні програми

VCA — відносно нова технологія, у середині 2000-х років багато компаній випустили продукти, покращені за допомогою VCA.[10][11][12] Попри те, що існує багато застосувань, репутація різних рішень VCA сильно відрізняється. Такі функціональні можливості, як виявлення руху, підрахунок людей[en] та виявлення зброї, доступні у вигляді готових комерційних продуктів[en] та, як вважають, мають пристойний послужний список (наприклад, навіть таке безкоштовне програмне забезпечення, як Dsprobotics Flowstone, може обробляти аналіз руху та кольору). У відповідь на пандемію COVID-19 багато виробників програмного забезпечення запровадили нові методи аналізу громадського здоров'я, такі як розпізнавання масок або відстеження соціальної дистанції.[13][14][15]

У багатьох областях VCA реалізується в системах відеоспостереження, або розподілених по камерах (на кордоні), або централізованих у спеціальних системах обробки. Відеоаналітика та Smart CCTV — комерційні терміни для VCA у сфері безпеки. У Великій Британії BSIA розробили керівництво по впровадженню VCA у сфери безпеки.[16] На додаток до відеоаналітики та як доповнення до неї також може використовуватися аудіоаналітика.[17]

Виробники програмного забезпечення для керування відео постійно розширюють асортимент доступних модулів відеоаналітики. За допомогою нової технології відстеження підозрюваних можна легко відстежувати всі переміщення цього суб'єкта: звідки вони прийшли, коли, куди і як рухалися. У певній системі спостереження технологія індексування здатна визначати місцеперебування людей зі схожими характеристиками, які перебували в полі зору камер протягом певного проміжку часу. Зазвичай система знаходить безліч різних людей зі схожими характеристиками та представляє їх у вигляді знімків. Оператору потрібно лише натиснути ті зображення та об'єкти, які потрібно відстежити. Протягом хвилини або близько того можна відстежити всі рухи конкретної людини та навіть створити покрокове відео цих рухів.

Kinect — це додатковий периферійний пристрій для ігрової консолі Xbox 360, який використовує VCA для часткового введення користувача.[18]

У роздрібній торгівлі VCA використовується для відстеження покупців всередині магазину.[19] Таким чином можна отримати теплову карту магазину, що корисно для оптимізації дизайну магазину та маркетингу. Інші програми включають в себе час очікування під час перегляду продуктів і виявлення вилучених/залишених товарів.

Якість VCA в комерційних умовах важко визначити. Це залежить від багатьох змінних, таких як сценарій використання, імплементація, конфігурація системи та обчислювальна платформа. Типові методи для отримання об'єктивного уявлення про якість у комерційних умовах включають незалежний порівняльний аналіз[20] та певні місця для проведення випробувань.

VCA використовувався для управління натовпом[en], зокрема на The O2 Arena в Лондоні та Лондонське Око.

Правоохоронні органи

Дивіться також: INDECT[en] і Масове спостереження[en]

Поліція та криміналісти аналізують відеозаписи з камер відеоспостереження під час розслідування злочинів. Поліція використовує програмне забезпечення, наприклад Kinesense[en], яке виконує аналіз відеоконтенту для пошуку ключових подій у відео та пошуку підозрюваних. Опитування показали, що до 75 % випадків пов'язані з відеоспостереженням. Поліція використовує програмне забезпечення для аналізу відеоконтенту, а також пошуку важливих подій у довгих відео.[21][22]

Академічні дослідження

Аналіз відеоконтенту — це частина комп'ютерного зору і, відповідно, штучного інтелекту. Дві основні академічні ініціативи — це TRECVID,[23] який використовує невелику частину відеоматеріалів i-LIDS, та тестові дані PETS.[24] Вони зосереджені на таких функціях, як відстеження, виявлення залишеного багажу та віртуальне огородження. Порівняльні набори відеоданих, такі як UCF101 [Архівовано 31 грудня 2021 у Wayback Machine.][25], дозволяють проводити дослідження розпізнавання дій[en], включаючи тимчасову та просторову візуальну[en] увагу за допомогою згорткової нейронної мережі та довготривалої короткочасної пам'яті. Програмне забезпечення для аналізу відео також поєднується із відеозаписами з нагрудних камер та камер на приладовій панелі, щоб легше редагувати відзнятий матеріал для публічного оприлюднення та ідентифікувати події і людей на відео.[26]

ЄС фінансує проєкт РП7 під назвою P-REACT[27] для інтеграції аналітики відеоконтенту у вбудованих системах із базами даних поліції та транспортної безпеки.[28]

Штучний інтелект

Докладніше: Штучний інтелект для відеоспостереження[en]

Штучний інтелект для відеоспостереження використовує програмне забезпечення, яке аналізує аудіо та зображення з камер відеоспостереження, щоб розпізнавати людей, транспортні засоби, об'єкти та події. Програма для підрядників безпеки — це програмне забезпечення для визначення зон обмеженого доступу в межах огляду камери (наприклад, огороджена територія, автостоянка, але не тротуар або громадська вулиця за межами ділянки) і програма для часу доби (наприклад, після закриття бізнесу) для майна, що охороняється камерою спостереження. Штучний інтелект надсилає сповіщення, якщо виявляє порушника набору «правил», згідно з яким нікому не дозволяється перебувати в цій зоні в цей час доби.

Див. також

Примітки

  1. ↑ KINECT [Архівовано 12 вересня 2010 у Wayback Machine.], add-on peripheral for the Xbox 360 console
  2. ↑ Dimitrova, Nevenka, et al. «Applications of video-content analysis and retrieval [Архівовано 3 вересня 2006 у Wayback Machine.].» IEEE multimedia 9.3 (2002): 42-55.
  3. ↑ VCA usage increase in British Security [Архівовано 16 березня 2014 у Wayback Machine.], BSIA report
  4. ↑ Cavaliere, Danilo, Vincenzo Loia, and Sabrina Senatore. «Towards an ontology design pattern for UAV video content analysis.» IEEE Access 7 (2019): 105342-105353.
  5. ↑ Cavaliere, Danilo; Loia, Vincenzo; Saggese, Alessia; Senatore, Sabrina; Vento, Mario (15 серпня 2019). A human-like description of scene events for a proper UAV-based video content analysis. Knowledge-Based Systems (англ.). 178: 163—175. doi:10.1016/j.knosys.2019.04.026. ISSN 0950-7051. S2CID 155625544. Архів оригіналу за 26 травня 2022. Процитовано 26 травня 2022.
  6. ↑ Ma, Yu-Fei, et al. «A user attention model for video summarization.» Proceedings of the tenth ACM international conference on Multimedia. 2002.
  7. ↑ Nik Gagvani [Архівовано 28 листопада 2012 у Wayback Machine.], Introduction to Video Analytics
  8. ↑ Cheng Peng [Архівовано 28 листопада 2012 у Wayback Machine.], Video Analytics
  9. ↑ Style detection [Архівовано 3 березня 2016 у Wayback Machine.], Cees G.M. Snoek et al., Detection of TV news monologues by style analysis, ICME'04
  10. ↑ Kwet, Michael (27 січня 2020). The Rise of Smart Camera Networks, and Why We Should Ban Them. The Intercept (амер.). Архів оригіналу за 27 січня 2020. Процитовано 19 жовтня 2020.
  11. ↑ Aimetis, Wikipedia (англ.), 28 січня 2020, процитовано 19 жовтня 2020
  12. ↑ Infographic: History of Video Surveillance. IFSEC Global | Security and Fire News and Resources. 12 грудня 2013. Архів оригіналу за 21 жовтня 2020. Процитовано 19 жовтня 2020.
  13. ↑ COVID-19 makes face mask detection essential video analytics - asmag.com. www.asmag.com. Архів оригіналу за 27 липня 2020. Процитовано 6 жовтня 2020.
  14. ↑ Looveren, Pieter van de. Functionality Beyond Security: The Advent of Open Platform Cameras. www.securityinformed.com (амер.). Архів оригіналу за 9 серпня 2020. Процитовано 6 жовтня 2020.
  15. ↑ StackPath. www.securityinfowatch.com. Архів оригіналу за 6 березня 2021. Процитовано 6 жовтня 2020.
  16. ↑ British Industry VCA Guide [Архівовано 17 травня 2018 у Wayback Machine.], 262 An Introduction to Video Content Analysis Industry Guide
  17. ↑ UK based startup that provides audio analytics into the CCTV industry
  18. ↑ Project Natal 101. Microsoft. 1 червня 2009. Архів оригіналу за 21 січня 2012. Процитовано 2 червня 2009.
  19. ↑ Heat map Intelligent module. Архів оригіналу за 30 липня 2017. Процитовано 26 травня 2022.
  20. ↑ i-Lids[недоступне посилання], Benchmarking initiative by the UK Home Office
  21. ↑ Northgate offers police forces improved CCTV analysis system. Архів оригіналу за 4 березня 2016. Процитовано 29 грудня 2015.
  22. ↑ Northgate teams with Dublin tech firm Kinesense to help police video analysis. Risk Manager Online. Архів оригіналу за 27 травня 2014. Процитовано 26 травня 2014.
  23. ↑ TRECVID [Архівовано 31 травня 2022 у Wayback Machine.], Academic benchmark initiative by NIST
  24. ↑ PETS Benchmark Data [Архівовано 24 вересня 2006 у Wayback Machine.], Performance Evaluation of Tracking and Surveillance (PETS) by University of Reading
  25. ↑ Center, UCF (17 жовтня 2013). UCF101 – Action Recognition Data Set. CRCV. Архів оригіналу за 31 грудня 2021. Процитовано 12 вересня 2018.
  26. ↑ Police Body Cameras Will Do More Than Just Record You | Fast Company | The Future Of Business. Fast Company (амер.). 3 березня 2017. Архів оригіналу за 7 травня 2017. Процитовано 8 березня 2017.
  27. ↑ P-REACT Project Website. Архів оригіналу за 8 березня 2022. Процитовано 26 травня 2022.
  28. ↑ Kinesense launches P-REACT, an FP7 project against Petty Crime. 7 квітня 2014. Архів оригіналу за 28 травня 2014. Процитовано 27 травня 2014.

Література та джерела