Иллюзия от Apple Sharp: почему мгновенная генерация 3D-сцен оказалась красивой пустышкой

Над попытками Apple войти в мир искусственного интеллекта в последнее время не смеялся только ленивый. Компания из Купертино долго отмалчивалась, пока конкуренты захватывали рынок. И вот теперь технологический гигант решил нанести ответный удар. Apple представила экспериментальную модель Sharp. Разработчики утверждают, что она способна совершить революцию в создании 3D-контента. Однако при детальном рассмотрении «революция» выглядит сомнительно.

Система Sharp обещает превратить обычную 2D-фотографию в объемную сцену менее чем за секунду. Результат можно сразу просмотреть на гарнитуре Vision Pro. Инженеры заявляют, что благодаря сочетанию мощного железа и хитрого софта Apple может перехватить лидерство в этой сфере. Но эксперты настроены скептически.

Как это работает (и почему это не совсем 3D)

Вместо привычных полигонов, из которых состоят модели в играх, Apple использует метод гауссова сплэтинга. Если говорить простым языком, нейросеть создает миллионы нечетких трехмерных эллипсоидов. У каждого из них есть свое положение, размер, цвет и прозрачность.

Видео от DGL.RU

Когда система собирает эти эллипсоиды вместе, получается сложная сцена. С определенного ракурса она выглядит пугающе реалистично. Но здесь кроется главный подвох.

Критический недостаток

Люди недооценивают Apple в сфере ИИ.

Я только что запустил новую модель Sharp от Apple локально и смотрел, как мои фотографии за секунды превращаются в 3D-шные гауссовые сплэты. А потом я зашел внутрь них через Vision Pro.

Кажется, что это начало чего-то особенного. Вы просто обязаны это попробовать.

— рассказывает эксперт по пространственным технологиям

Традиционные методы фотограмметрии требуют сотни снимков объекта с разных сторон. Только так можно получить полноценную модель. Sharp же гордится тем, что делает все по одной фотографии. Нейросеть обучили на огромных массивах данных, чтобы она «додумывала» глубину и геометрию.

Однако чудес не бывает. Главная проблема Sharp заключается в том, что она создает лишь иллюзию объема. Система качественно отрисовывает только те участки, которые были видны на оригинальном снимке. Вы не сможете зайти к объекту «за спину» или сильно изменить угол обзора. Как только вы попытаетесь отойти от исходной точки съемки, магия исчезнет. Сцена просто рассыплется или окажется пустой с обратной стороны.

Код проекта уже выложили на GitHub, и энтузиасты принялись тестировать новинку. Результаты вызывают смешанные чувства. Пользователи социальных сетей делятся своими экспериментами, но многие недоумевают по поводу странных примеров от самой Apple. Например, для демонстрации возможностей почему-то выбрали изображение лошади, которое выглядит довольно специфично.

Генерация гауссовых сплэтов занимает от 2 секунд (на топовых видеокартах быстрее). Я использую код Apple «Sharp Monocular View Synthesis in Less Than a Second», и он работает локально на моей системе.

Я импортировал результат в Octane Render 2026. Там есть полный трассируемый рендеринг для гауссовых сплэтов.

Именно из-за таких вещей я так ждал, куда зайдут исследования в области гауссова сплэтинга.

Если объединить это с «рендерером» на базе генеративного ИИ в реальном времени, всё может стать совсем безумным.

А если объединить с Dreams, будет ещё лучше, конечно 😀

— пишет креативный технолог и цифровой художник

При этом стоит отдать должное скорости работы. Генерация происходит моментально на стандартном графическом процессоре. Исследователи также отмечают, что система соблюдает правильный масштаб. Расстояния и размеры объектов соответствуют реальным метрическим данным.

Модель Sharp от Apple генерирует фотореалистичные 3D-сцены (гауссовы представления) по одной картинке за секунды.

Sharp позволяет создавать фотореалистичные новые ракурсы (NVS) из одной фотографии. Для этого модель вычисляет параметры 3D Gaussian за один проход нейросети (на стандартной видеокарте это занимает меньше 1 секунды). Итоговое представление рендерит фотореалистичные изображения высокого разрешения в реальном времени для близких ракурсов. Метрика использует абсолютный масштаб для движения камеры. Эксперименты показывают стабильную генерацию без обучения (zero-shot) на разных датасетах. Это новый уровень (SOTA): LPIPS ниже на 25–34%, DISTS ниже на 21–43% по сравнению с лучшими предыдущими решениями. А время синтеза сократилось на 3 порядка.

— сообщает техноблогер и ИИ-энтузиаст

Конкуренты тоже не дремлют. На этой неделе свет увидела система Echo от SpAItial AI. Она предлагает похожий функционал, но с возможностью редактирования миров. Apple придется сильно постараться, чтобы их «одноракурсное 3D» стало чем-то большим, чем просто забавной игрушкой на пару минут.

Это не акварель, а обман: как бесплатный Blender унизил платные 3D-редакторы