Непредвиденные причины для slow takeoff в ИИ:

1. NP-поиск P-решений; настоящая ценность это не рассудок, а объём накопленных знаний.
Юдковский писал, что живые нейроны медленны, поэтому большая часть мысли должна иметься в голове заранее. На лету мы только комбинируем готовые кусочки. И редко получается что-то ценное! Большую часть кусочков мы подсмотрели у других. В лучшем случае мы чуть красивее укладываем их у себя в голове.
Поиск гармоничных кусочков это решение NP-полной задачи. Их невозможно получить иначе, как долгим перебором. Найденные кусочки это как ключи для биткоина, это золотой запас, который нельзя восстановить быстро с нуля. Человек, рождённый среди обезъян, ещё десятки тысяч лет будет умной обезъяной.

А значит, мы дали ИИ всё, что имели, чтобы довести его до нашего уровня. Превзойти этот уровень сложнее. Для этого нужен майнинг новых идей. Это долгий процесс без гарантии успеха для нас. Такой же он для ИИ.

2. Какой бы большой не была нейронка, она рассуждает последовательно.
Каннеман предполагал, что интуиция (система 1) это древний и развитый механизм, поэтому она выполняет тяжёлые задачи незаметно и легко. А рассудок (система 2) появился недавно, и пока внимания хватает лишь на что-то одно, а думать сложнааа.
Но нейронки устроены так же. Рассуждения это многократный проход через прямолинейную сеть интуиции. Нейронки тоже не могут рассуждать не по шагам. Вот это чувство - "я вижу 10 продолжений, если б я мог подумать обо всех сразу! Но надо их выписать, чтобы не забыть, а потом разобрать каждую". И пока разбираешь одну, другие выпадают из головы, и восстановишь ли это озарение как следует? Нейронки сейчас этого тоже не могут. Их поток мыслей это такое же последовательное мучение.

Возможно, это не навсегда. Многостороннее озарение это несколько зажёгшихся кластеров интуитивных следствий. Этот контекст можно размножить и выбрать в них разные направления. Это будет выглядеть как пять параллельных устных размышлений, независимых друг от друга. Но как они должны обмениваться информацией? Через слова - неудобно. Хотелось бы думать параллельным образом, как это происходит с интуицией, но уровнем выше. Путь к этому пока неочевиден, и нейронки вынуждены мучаться узким каналом рассуждений, как люди.