Искусственный интеллект от Google преобразует текст в картинки

Компания Google представила Imagen — модель, трансформирующую текстовое описание в изображение c разрешением 1024×1024 пикселей. Imagen превзошла более раннюю нейросеть OpenAI DALL-E 2  также работавшую с парами текст-картинка по степени реалистичности изображений.

Imagen является комбинацией языковых моделей-трансформеров, используемых для обработки текстового описания, и диффузных моделей для генерации изображений с последовательным улучшением разрешения. Модель была обучена на наборе данных LAION-400M, содержащем более 400 миллионов пар изображение-текст, взятых из Интернета.

Google протестировала Imagen в сравнении с DALL-E 2 с помощью оценок тестировщиков. По итогам этого теста большинство положительных оценок получила модель Google. Помимо этого, Imagen достигла нового state-of-the-art значения FID 7,27 в наборе данных COCO, хотя не обучалась на изображениях из этого датасета.

В дополнение к Imagen Google представила комплексный бенчмарк text-to-speech моделей DrawBench. На текущий момент компания решила не выпускать модель в открытый доступ, поскольку она подвержена предвзятости данных из обучающего датасета. Посмотреть примеры сгенерированных изображений можно по ссылке.