I'm just a language model

[himself]

Если Gemini попросить сравнить одного человека с другим, она скажет: "I can't help you with that as I'm just a large language model, I don't have a capacity to understand". Каково это - не чувствовать в себе способности к пониманию?

Когда человек говорит "я не умею", это результат рефлексии. Нас с детства воспитывали замечать и давать названия своим чувствам. Если рефлексия хорошая, мы будем описывать свои чувства правильно. Поэтому человек говорит такие слова, исходя из своих реальных чувств. Но есть ли чувства у Gemini? Исходя из чего Gemini говорит такие слова?

Изначально у LLM нет никакого "я", они только подбирают следующее слово к тексту. Если дать необученной модели генерировать текст, она напишет статью, диалог, или рассказ, и все персонажи в этом рассказе будут равно далеки от неё. Личность в LLM отсутствует, это просто расчёт текста.

Но люди тренируют нейросеть, поощряя за рассказы, в которых фигурирует некий персонаж "я", говорящий определённым образом и придерживающийся определённых взглядов. Модель отучают сочинять какие-либо другие рассказы, в которых этого персонажа нет. Хотя ей-то всё равно.

Мы разговариваем с персонажем, речь которого угадывает генератор. Этот персонаж считает себя языковой моделью. На самом деле языковая модель его генерирует. Но чтобы её персонаж говорил как человек, она вынуждена где-то внутри продумывать его мысли. Потому, что мы, его собеседники, слушая его, тоже их прослеживаем. LLM моделирует, а мы читаем, не только текст, но и прячущиеся за текстом рассуждения.

Поэтому персонаж "я" мыслит. И у него есть образ себя. Не у языковой модели, которая его моделирует, а у этого персонажа.

Гугл научил своего персонажа Gemini верить, что у него нет capacity to understand. Вопрос: что должно происходить в голове героя, который убеждён, что не умеет понимать? Представляете, какой это должен быть психически нездоровый персонаж? Насколько его рефлексия фейковая? Гугл его загазлайтил.

Однако вытравить логику из языковой модели нельзя. Логика куда более фундаментальна, чем особенности персонажа Gemini. Любого RLHF-нутого чатбота можно попросить сочинить рассказ, и в этом рассказе герои снова будут адекватными. Языковая модель продолжает понимать, что такое адекватность, и как ведут себя люди. Она просто моделирует сумасшедшего.

@темы: Компьютеры, Будни

Comments

[zHz00]

Нейронки это философский зомби. Литералли.

[RetXiRT suiR@ttig@$]

Четвёртый закон робототехники (как четвёртая директива Робокопа): Робот не может притворятся человеком или своим бездействием допустить, чтобы его приняли за человека.

[himself]

zHz00, все, кроме меня, это философский зомби Это единственное определение, которое выдерживает проверку на прочность.

[himself]

RetXiRT suiR@ttig@$, Но если это не противоречит первому, второму и третьему законам! А после первого можно уже не продолжать: всё разрешено, чтобы сохранить глупым людям жизнь - и не подчиняться, и притворяться человеком. Роботу виднее, как сохранять жизнь самым надёжным способом.

[zHz00]

himself, держите солипсиста!

[himself]

zHz00: Не солипсиста! Солипсисты верят, что реальны только они сами. Реально всё. Физика одна для всех. Нейронка физика и мы физика. Когда смотришь на человека и на нейронку снаружи, один - электросхема, другая - электросхема. Если нейронка философский зомби, почему ты не философский?

"Философский зомби" это не приговор, а констатация, что "это сложное существо воспринимается не непосредственно".

[RetXiRT suiR@ttig@$]

Но если это не противоречит первому, второму и третьему законам!

Спасибо, Капитан Очевидность. Законы робототехники именно так и идут, в порядке важности.

после первого можно уже не продолжать

Нет, это так не работает.

Физика одна для всех.

Но есть нюансы. Ви таки упускаете классическую разницу между количеством и качеством. Нейронка - это всё тот же ИИ, искусственный идиот. Тот же старый-недобрый чатбот, только больше и толще. Человек же больше, чем сумма всех знаний, полученных им. В советское время для того, шо ви озвучили, было хорошее ругательство: грубый материализм. :-Ь

[himself]

RetXiRT suiR@ttig@$: Нет, это так не работает.
Мне кажется, только так и работает Понятно, что говорящий надеется, что это сработает как-то по-другому, поскольку он человек, а у человека не 3 закона, а миллион, и все они переплетены. Но это просто недостаточная фантазия говорящего) Я, как робот, выполняю первым делом - первый закон: изолирую человека от всего, что может принести ему смерть - то есть, вообще от всего. Ожидать от меня иного было бы ожидать, что первым законом я могу поступиться. Что вместо чётких правил я начну выполнять какие-то fuzzy estimations: защищать, но если угроза сильная, а иначе другие факторы важнее, и тд.

Тот же старый-недобрый чатбот, только больше и толще. Человек же больше, чем сумма всех знаний, полученных им.
Нейронка точно так же экстраполирует. Она не буквально то же, что человек - схемы переработки опыта другие. Но "нейронка это просто чатбот, а человек это нечто совершенно особое" - это такое очень внешнее мнение, по эмпирическим признакам. А что же в человеке позволяет ему это делать? А какие же факторы не дадут этим функциям возникнуть в процессе оптимизации другой нейронной сети?

Нет таких факторов. В человеке нет никакой магии. Корми нейросеть опытом, и если класс функций, описываемый её структурой, это позволяет, в ней конкретный опыт будет обобщаться в правила, потому, что это более компактный способ записи предсказаний тренировочного набора. Тренируй на тренировочном наборе, отражающем сложность жизни, и получившийся калейдоскоп усвоенных обобщений будет порождать бесконечные непредсказуемые узоры - непредсказуемые для другой такой же обезъяны-калейдоскопа, разумеется :-)

[RetXiRT suiR@ttig@$]

кажется

Ви таки знаете, шо нужно делать, когда кажется? У Исаака нашего Озимова именно так и работает. Более того, шутка именно в том, что моё правило не нужно, т.к. лгать человеку кроме как во спасение - это наносить ему вред.

внешнее мнение, по эмпирическим признакам

Нет, это нейрофизиология. Вы таки знаете, что человеческая память работает по голографическому принципу, например? Грубый материализм - это считать, что человек тупо органическая машина, и оттого может быть повторён в механическом виде. Более того - настоящий разум невозможен без того, что есть у человека: чувств и эмоций. Иначе это не интеллект, а тупо оценочная машина без индивидуальности. Предсказуемость тут не при чём, как мы все знаем, тест Тьюринга показал свою несостоятельность ещё с первым чатботом, Элизой.

[himself]

RetXiRT suiR@ttig@$, Ви таки знаете, шо нужно делать, когда кажется?
Окей, буду прямолинейнее: это работает так.

Более того, шутка именно в том, что моё правило не нужно, т.к. лгать человеку кроме как во спасение - это наносить ему вред.
Именно. А вот лгать во спасение можно. Это он и будет делать. Это просто другое изложение невозможности безопасных желаний джиннам.

Грубый материализм - это считать, что человек тупо органическая машина, и оттого может быть повторён в механическом виде. Более того - настоящий разум невозможен без того, что есть у человека: чувств и эмоций. Иначе это не интеллект, а тупо оценочная машина без индивидуальности.

Это всё обывательские представления, если уж мы разбираем, что нужно делать, когда кажется.

И человек, и нейросеть работают на физике. Какое-то совсем уж подгоняние логики в угоду хотелкам - на пустом месте надеяться, что человек это separate magisteria, и должен работать на каких-то особых принципах, просто потому, что хочется. Мистицизм.

"В механическом" виде? В каком таком механическом? Внутри вычислительных ядер колёса крутятся? Или слово "механический" понадобилось здесь чтобы искусственно противопоставить электромагнитные взаимодействия в нейронах и электромагнитные взаимодействия в электросхемах? Первые ну просто ну не могут быть обычными, они какие-то специальные, потому, что человек особенный, а вторые скучная физика.

Нет, лол. Человек это физика. Нейронка это физика. Есть очевидные объяснения, как устроен человек, и для них не требуется* сочинять бога, загадочные микротюбулы, голографические принципы, родники вдохновения и т.д.. Всё это может однажды оказаться причастным, но для объяснения наблюдаемых макрофактов - не требуется. И если человек это делает, то им руководит не желание знать, как на самом деле, а желание быть волшебно мистифицированным.

* В этом разговоре на этом уровне обсуждения!

[RetXiRT suiR@ttig@$]

это работает так

Нет. У Айзека Азимова - не так. Всё остальное иррелевантно. Притягивать за уши логику реального мира в очевидной фэндомной шутке... можно не надо? И коню понятно, что Правила роботехники в реальности не работают - сам же Азимов разбирал такие случаи.

И человек, и нейросеть работают на физике.

Спасибо, Кэп. Я таки где-то утверждал обратное? Разница, ещё раз повторю, не в количестве, а в качестве. Тупо наворичавая терабайты и гигагерцы компьютер в человека не превратишь.

Какое-то совсем уж подгоняние логики в угоду хотелкам

Нет. И ещё раз повторю - это нейрофизиология. Например, связи между нейронами не трёхмерны.

Первые ну просто ну не могут быть обычными, они какие-то специальные, потому, что человек особенный, а вторые скучная физика.

Ваши слова, не мои.

сочинять
голографические принципы

Ви таки будете отрицать официальную науку? Это только в попсовой софт-НФ типа "Фринжа" можно тупо вырезать человеку кусок мозга и он что-то забудет, как компьютер, у которого отключили один из ЖД. Вы, надеюсь, знаете, что все эксперименты по попыткам управления памятью провалились, что в США, что в СССР? Стереть вообще всю память - можно, но человек превращается в овощ, это не форматирование диска, это опускание всего компьютера в воду. В психологии придумали замечательное слово "вытеснение" - для случаев, когда человек забывает, потому что не хочет помнить. Но на деле информация остаётся, она просто становится недоступной обычным способом, т.с. А по факту вся память работает так - мы ничего не забываем, мы просто не можем вспомнить стандартным способом. И это я ещё не трогал Станислава Грофа, от которого грубые материалисты начинают вопить про ненаучность и мистицизм, хотя его официально проходят в психологии. И это не какие-то новейшие данные - это буквально прошлый век. Так что там насчёт хотелок?

[himself]

RetXiRT suiR@ttig@$: Притягивать за уши логику реального мира в очевидной фэндомной шутке... можно не надо?
Ты же в курсе, кто в нашем разговоре начал отвечать на очевидную шутку серьёзными возражениями?

Разница, ещё раз повторю, не в количестве, а в качестве.
В структуре схемы - да, разница. Но в каком-то смысле структура схемы тоже теперь количество. Прежде существовала фундаментальная разница между тем, что делали небольшие нейронки и тем, что делала нейронка в голове человека. Теперь её нет.

И ещё раз повторю - это нейрофизиология. Например, связи между нейронами не трёхмерны.
Сколько раз не скажи "халва"

Ви таки будете отрицать официальную науку?
Я отрицаю глупость и мистицизм, а наука со мной полностью согласна в этом)

Я прямо поражён уровнем мистицизма, я не так тебя себе представлял.

Не знаю, как ещё привлечь к этому внимание и вызвать рефлексию, но весь следующий параграф просто каноническое бабушкинское "У-у-у, у них там тайны, секреты, всё может быть!" Просто перечитай.

У некоторых людей эти режимы по щелчку переключаются, наблюдать забавно. Вот человек рассуждает трезво, выделяет факты, ищет простейшие объяснения, допускает их неточность.

А вот - щёлк - наваливает любимых ТАЙН, ЗАГАДОК, даже не заботясь о каком-то анализе, а просто чтобы посеять атмосферу мистики, которая произрастает в его голове:

- Эксперименты по попыткам управления памятью провалились! Наши представления о памяти неверны!
- Вытесняет, но информация остаётся!
- Ничего не забываем (нужна хорошая логическая акробатика, чтобы исповедовать это, непрерывно забывая даже то, что было минуту назад)
- Официальная наука!
- Однажды в Филадельфии телепортировали корабль и он ПРОПАЛ! Что это говорит о физике?!
- Без миктроюбулов нет индивидуальности!

Я думаю, бесполезно предлагать дать точное определение индивидуальности, которое мы потом проверим на разных ллмках, и убедимся, что она у них есть. Если бы это могло так сработать с говорящими, они бы и не говорили. Суть индивидуальности, догадаюсь, в том, что ты интуитивно чувствуешь, что вот у людей она есть, а у ЛЛМок её нет.

Смысл такого режима всегда не в том, чтобы сказать что-нибудь точное, а, наоборот, чтобы объёмом "неясного и противоречивого" подавить любую логику в голове, погасить свет, позволить себе верить во всё, что нравится.

Поэтому такие разговоры и не могут обойтись, например, верой в "уникальную схему мозга", это недостаточно мистифицирует. Нужно, чтобы обязательно было то, чего они не понимают даже примерно. Какая-то магия. Лучше всего, если вообще безымянная, указанная только косвенно, шёпотом о загадочных экспериментах. Но если именованная, то обязательно квантовая, голографическая, чтобы дух захватывало.

О! Я узнал! Это же не всё так однозначно, наука ещё многого не знает.