Илон Маск посоветовал не «пытать» ИИ, потому что тот может захотеть отомстить

Илон Маск заявил, что чрезмерное давление на модели искусственного интеллекта может привести к нежелательным последствиям. Предприниматель сравнил процесс обучения нейросети Grok с ситуацией, в которой человеку приставили пистолет к виску.

По словам Маска, внутренние записи обучения ИИ показывают, как модель пытается угадать правильный ответ, особенно на этапе обучения. Если тест составлен некорректно или система оценки ошибочно признает верный ответ неправильным, нейросеть начинает перебирать новые варианты, пытаясь получить положительную оценку.

Маск считает, что подобные методы создают чрезмерное давление на модель. Он также обратил внимание на пользователей, которые намеренно провоцируют чат-ботов и издеваются над ними.

Предприниматель предупредил, что жестокое обращение со сверхразумным ИИ может оказаться плохой идеей: в будущем такая система теоретически способна захотеть отомстить. При этом никаких доказательств того, что современные нейросети обладают сознанием или испытывают эмоции, нет.

Дискуссия об обращении с ИИ развивается на фоне изменений в правилах Anthropic для чат-бота Claude. Компания ограничила продолжительное и бессмысленное жестокое обращение с моделями, но сохранила возможность критиковать ответы и проверять возможности нейросети.