3.2 | Влияние текстовой подсказки | Курс по Stable Diffusion Automatic

Некоторые ‎слова‏ ‎в ‎промпте ‎влияют ‎сразу ‎на‏ ‎всю ‎картинку,‏ ‎другие‏ ‎изменяют ‎лишь ‎некоторые‏ ‎части. ‎В‏ ‎дальнейших ‎примерах ‎с ‎помощью‏ ‎механизма‏ ‎«перекрестного ‎внимания»‏ ‎вы ‎увидите,‏ ‎как ‎нейронка ‎связывает ‎слова ‎с‏ ‎изображением.

Ears‏ ‎(уши)

В ‎примере‏ ‎выше ‎белым‏ ‎цветом ‎выделены ‎те ‎области, ‎которые‏ ‎Stable‏ ‎Diffusion‏ ‎ассоциирует ‎со‏ ‎словом ‎«ears»‏ ‎(уши). ‎Как‏ ‎видите‏ ‎«ears» ‎изменяет‏ ‎не ‎всю ‎картинку, ‎но ‎преимущественно‏ ‎область ‎морды.‏ ‎На‏ ‎морде ‎у ‎свиньи‏ ‎«ears» ‎проявляется‏ ‎сильнее, ‎чем ‎на ‎морде‏ ‎собаки‏ ‎(могло ‎быть‏ ‎и ‎наоборот).‏ ‎Над ‎животными ‎и ‎под ‎ними‏ ‎маска‏ ‎тёмная, ‎это‏ ‎значит, ‎что‏ ‎нейронка ‎не ‎ассоциирует ‎«ears» ‎с‏ ‎этой‏ ‎частью‏ ‎изображения.

Window ‎(окно)

В‏ ‎этом ‎примере‏ ‎выделены ‎области,‏ ‎которые‏ ‎нейронка ‎ассоциирует‏ ‎со ‎словом ‎«window» ‎(окно). ‎Выделено‏ ‎окно ‎—‏ ‎это‏ ‎логично, ‎но ‎кроме‏ ‎него ‎нейронка‏ ‎«видит» ‎«window» ‎в ‎некоторых‏ ‎других‏ ‎частях ‎изображения,‏ ‎например, ‎справа‏ ‎от ‎свиньи. ‎В ‎этом ‎тоже‏ ‎есть‏ ‎смысл, ‎ведь‏ ‎наличие ‎окна‏ ‎в ‎помещение ‎влияет ‎на ‎то,‏ ‎как‏ ‎выглядят‏ ‎объекты ‎в‏ ‎комнате.

Carpet ‎(ковер)

Нейронка‏ ‎делает ‎акцент‏ ‎на‏ ‎ковре ‎и‏ ‎ещё ‎в ‎нескольких ‎местах.

Мы ‎посмотрели‏ ‎на ‎простые‏ ‎предметы,‏ ‎которые ‎имеют ‎пространственную‏ ‎форму, ‎дальше‏ ‎посмотрим ‎как ‎на ‎нейронку‏ ‎влияют‏ ‎абстрактные ‎слова.

Cool‏ ‎(здорово)

Нейронка ‎не‏ ‎выделяет ‎на ‎этом ‎изображении ‎объект‏ ‎«cool»‏ ‎— ‎потому‏ ‎что ‎его‏ ‎не ‎существует ‎как ‎физического ‎объекта.‏ ‎Локализованных‏ ‎акцентов‏ ‎здесь ‎нет,‏ ‎выделяется ‎всё‏ ‎изображение.

Perfect ‎(идеальный)

Perfect‏ ‎также‏ ‎как ‎cool‏ ‎влияет ‎на ‎всё ‎изображение.

Yes ‎(да)

Как‏ ‎выглядит ‎«да»?‏ ‎Видим,‏ ‎что ‎это ‎слово‏ ‎повлияет ‎на‏ ‎всё ‎изображение, ‎но ‎использовать‏ ‎подобные‏ ‎слова ‎не‏ ‎нужно, ‎они‏ ‎внесут ‎непредсказуемые ‎искажения, ‎которые ‎вероятно‏ ‎ухудшат‏ ‎эстетичность.

Картинки ‎с‏ ‎промптами

Посмотрим ‎несколько‏ ‎примеров ‎генераций ‎созданных ‎при ‎помощи‏ ‎SDXL‏ ‎Прочтите‏ ‎промпты ‎к‏ ‎картинкам ‎и‏ ‎переходите ‎к‏ ‎первому‏ ‎домашнему ‎заданию.