Даже то, что GPT2/3 делает с текстами уже магия. Он сочиняет новости, пишет стихи, ему можно сунуть любой текст, попросить "TLDR:" и он перескажет своими словами.
Кто-то накормил этот генератор всеми текстами Юдковского и заставил его генерировать новые посты, и он сочиняет почти осмысленные тексты! Даже кажется, ТЫ САМ их не понимаешь как следует, а смысл есть.

То есть, GPT не подбирает наугад, у него есть представление о предмете речи. Но самое удивительное: он заранее не знает, что скажет! Каждый раз он выбирает одно новое слово; чтобы получилось предложение, его нужно спрашивать снова и снова. Связность речи хранится не в скрытых переменных, а в самой речи и в памяти GPT вообще.

А теперь кто-то запряг её рисовать картинки! И она их рисует! Это магия какая-то, так не бывает!

Последние 50 лет все, кто понимает в компах, объясняли, что невозможно "сделать искуственный интеллект вообще", нет никакого "секрета разума", можно только решать сотни сложных задач типа распознавания объектов, речи, и результат в одной не переходит магически в другую.
И вот пожалуйста, программа для генерации текста рисует картинку, причём по строкам без разделения строк, просто ниточку точек. Мистика.

@темы: Компьютеры