Получение данных с камеры телефона на Unreal Engine 4 + Android

Задача: получить и обработать данные с камеры телефона на Android в рамках проекта на Unreal Engine 4.

Необходимость в этом возникла при попытке использовать камеру на телефоне для определения местоположение телефона относительно помещения, в котором его используют. Это касается и AR- и VR-игр.

Как обычно, я запишу, что я делал для этого, чтобы потом вспомнить. Будет небольшая каша из-за того, что у меня используется моя библиотека markers detector, которая вам, скорее всего, не нужна. Но, надеюсь, вы поймёте ход моих мыслей и сможете увидеть всю картину целиком. Учитывая необходимость править файлы из директории игрового движка, использовать Java, NDK и C++, я бы не назвал весь этот подход очевидным.

Как подключить MarkersDetector.dll в проект Unreal Engine 4

В этом посте описана инструкция, как можно подключить мою библиотеку MarkersDetector.dll, которая использует несколько вызовов библиотеки OpenCV. Мне пришлось собрать свою dll, а не использовать OpenCV напрямую, из-за особенности сборщика мусора в UE4 - он крашился при вызове некоторых нужных методов, например, cv::findContours(). В MarkersDetector.dll упакован необходимый минимум, чтобы получать в реальном времени координаты и вектор поворота веб-камеры относительно статичных маркеров.

Конвертировать Twitch видео в gif, mp4 онлайн

FLV - Flash Video. На данный момент этот формат видео довольно сильно распространен в интернете. Например, сервис Twitch.tv транслирует записанные показы, используя его. Видео кодируется в H.264, звук в AAC. Содержит в себе заголовок и подряд идущие теги. Теги бывают трёх видов: метаданные, видеоданные, аудиоданные. Метаданных может не быть или быть больше одного тега. Метаданные могут содержать произвольные данные, например, караоке или ID3 подобные данные. Кроме того, метаданные Твича содержат временные метки ключевых фреймов и их позиции в файле (Твич использует flvmeta для создания onMetadata в своих flv).

В данном посте я запишу, что я узнал о FLV, когда реализовывал частичную выгрузку видео с Твича с указанными временными метками начала и конца отрезка. В освоении flv мне очень помогла статья от авторов red5. Итоговый продукт для конвертации Twitch-видео в gif онлайн - tw2gif.com.

UPD: Twitch внедрил поддержку HLS-видео. Теперь tw2gif.com поддерживает ссылки вида /v/, а всё далее идущее в статье уже не актуально.