Вкалывают роботы...

Читаю обсуждение gpt5 на одном форуме и вижу такой комментарий:

My experience so far is it's gotten much better at tricking me into believing its hallucinations. I fed it some old code and asked for feedback and it gave me a long, very technical, super convincing explanation of how my approach was misaligned with the intended use of the API I was using which at first was very persuasive. It took me about an hour of investigation to realize that will there was a tiny bit of truth to what it was saying (and I did end up making a small change as a result) it was mostly just full of it, and the feedback was essentially useless gibberish.
Поразительное сходство вот с этими словами из РМ:

Будущее учение Противобога, которым, по-видимому, ознаменуется предпоследний этап всемирной истории, построится таким образом, что при минимальном весе частноистинного элемента свет от него будет придавать вид истинности максимуму ложных утверждений. Этим и обусловится то обстоятельство, что это учение будет запутывать человеческое сознание в тенётах лжи прочнее и безвыходнее, чем какое бы то ни было другое.
Такое свойство чатботов возникает как-бы случайно. Когда чатбота настраивают, нанимают целую кучу людей из бедных стран, чтобы те смотрели на варианты ответов чатбота и решали какой вариант правильный. Понятно, что им некогда вчитываться когда начальство требует проверять тысячи ответов в день. В итоге чатбота учат не истину говорить, а искусно обманывать потому что только так чатбот получит максимальное одобрение. Отсюда же склонность чатботов льстить.
 
Вспомнился коротенький фантастический рассказ :) Frederic Brown. Answer, 1954 (рассказ написан за 3 года до изобретения перцептрона Фрэнком Розенблаттом).

Фредерик Браун
ОТВЕТ

Двар Эв торжественно запаял золотом последний контакт. Двенадцать
телекамер неотрывно следили за каждым его движением — трансляция шла на
всю галактику.
Он выпрямился и кивнул Двар Реину. Затем подошел к выключателю,
который скоро замкнет цепь. К выключателю, соединяющему одновременно все
компьютеры всех обитаемых планет — девяносто шесть миллионов миров — в
суперсеть, которая объединит их в один суперкомпьютер, единую
кибернетическую машину, собравшую мудрость всех известных миров.
Двар Реин обратился с короткой, вступительной речью к биллионам
телезрителей и затем, после короткой паузы, он произнес:
— Пора, Двар Эв!
Двар Эв нажал выключатель. Раздалось мощное гудение, пошла энергия
девяноста шести миллионов планет. На бесконечно длинном пульте замигали
разноцветные огоньки.
Он отошел назад и громко провозгласил:
— Честь задать первый вопрос принадлежит вам, Двар Реин!
— Благодарю, — ответил Двар Реин, — Это будет вопрос, на который
не мог ответить ни один компьютер.
Он повернулся к пульту.
— Есть ли бог?
Могущественный голос раздался сразу.
— ДА. ТЕПЕРЬ БОГ ЕСТЬ!
Двар Эв понял не сразу, но потом страх исказил его лицо — он
бросился к выключателю...
Молния сорвалась с безоблачного неба и испепелила его на месте,
намертво запаяв соединение.

https://tarranova.lib.ru/translat/b/brown/answer.htm
 
Сверху Снизу