Фото в книге оживают в браузере телефона

Читатель наводит телефон на фото в бумажной книге, и поверх него играет видео, появляется 3D-модель или фото становится объёмным. Без приложения, по QR.

Проект NDA TypeScriptThree.jsWebARDirectusDepth Anything
Фото из книги, разложенное по карте глубины на слои фона, персонажа и переднего плана

Было

Оживить фото в книге можно было только через отдельное приложение, которое читатель должен найти и установить.

Каждый новый альбом требовал работы разработчика.

Стало

Один QR на книгу открывает страницу в обычном браузере телефона. Фото в кадре распознаётся, и поверх него играет видео, появляется 3D-модель или эффект по краям.

В режиме параллакса карта глубины строится сама, объекты отделяются от фона и смещаются при наклоне телефона.

Команда сама собирает альбомы в админке. Карта глубины и распознавание готовятся заранее, телефон читателя только показывает результат.

Попробуйте параллакс

Фото из книги в режиме параллакса
Поводите курсором по фото, на телефоне наклоните его

Фото из книги и карта глубины, которую построил продукт в админке. Тот же эффект читатель видит на телефоне, когда наводит камеру на страницу.

Ближние объекты смещаются сильнее дальних, поэтому фото выглядит объёмным.

Как это работает

Экраны

Параллакс при наклоне книги

Как устроено внутри

  • Распознавание фото собирается прямо в браузере админки за доли секунды, без отдельного сервера.
  • Карту глубины для параллакса строит модель Depth Anything в браузере, её можно поправить в админке.
  • Контент держится на самом фото, а не на полях страницы, поэтому видео и модель не уезжают при наклоне.
  • Звук включается после касания, как требуют браузеры телефонов.

Название заказчика не раскрывается. Архитектуру и подход могу показать на созвоне.

Похожая задача?

Напишите в Telegram, разберу, как сделать у вас.