Я отвечал на часть коммента, касающуюся человека и его инстинктов, поскольку ты утверждал, что их якобы нет. Оказывается, есть. Лихим кавалерийским манёвром отказавшись от дальнейшего обсуждения этого вопроса, который вроде бы так сильно тебя занимал, ты перескочил к принципам формирования ИИ. Не самый разумный формат дискуссии, должен заметить.

Для человека нормально взаимодействовать с другими людьми, наш мозг эволюцией создан так, чтобы решать социальные задачи (у кого-то больше, у кого-то меньше). Является ли стремление к общению "подспудным" и маниакальным, нужно ли ужасаться его наличию? Почему наделение ИИ (помимо прочего) способностью к оптимизации человеческого общества с точки зрения социального и технического прогресса - повод для заклинаний про "доебаться" и "фазы луны"?

>>у людей нет инстинктов
>>и вообще, что такое "базовые установки разума"?
>>у человека нифига подобного нету

Я, конечно, понимаю: приятно чувствовать себя царём природы и дохуя высокоразвитой личностью, на которую ничто не может повлиять, но у человека есть базовые установки, это очевидно хотя бы из сходства поведения животных и людей. Поведение в конфликтных ситуациях, демонстрация доминирования, невербальное общение - всё это в значительной степени предопределено биологией. Человек рождаётся с нейронами мозга, уже выстроенными в определённую структуру, которая заточена на развитие для решения определённых задач, поэтому решения этих задач разными людьми сходны. Можно не называть это инстинктами, называть предрасположенностью - на мой взгляд, разницы нет.
Ну и на закуску, копипаста из д.б.н., А. Маркова: "В геноме "записаны" не признаки, а потенциальные возможности развития признаков в "нормальных" для данного вида условиях развития. Скажем, для человека и других обезьян общение с родителями - обязательный элемент того, что следует понимать под "нормальными условиями развития". Несомненно, у человека есть генетически обусловленные предрасположенности к развитию разнообразных сложных форм поведения - например, к овладению языком. Но реализуются эти генетические задатки только в том случае, если развитие происходит в более-менее нормальных (типичных) условиях. Считать ли такие генетические предрасположенности инстинктами - вопрос договоренности между специалистами."

>>твои родители создали тебя с той лишь целью, чтоб ты до скончания веков занимался политикой в стае крыс. как тебе такая перспектива?

99% людей родились вообще только по той причине, что их родителям припёрло потрахаться, а методы контрацепции либо ещё не изобрели, либо дали осечку. Иногда это дополняется более поздней аргументацией в стиле "дети это Щастье!!1"
Хоть какая-то осмысленность всяко лучше этого.
И потом, почему обязательно "лишь с этой целью"? Создание новой формы разумной жизни (да ещё и способной потенциально пережить и человечество, и солнечную систему) - огромный шаг сам по себе, даже вне контекста ухаживания за человечеством.

>> очему он не должен эти заложенные установки воспринять как нанесенные травмы?

Мы же не про воспитание говорим, а про базовые установки разума. Если проводить аналогию с человеческим мозгом - мы не рассматриваем как травмы наши инстинкты, хотя их рациональность, мягко говоря, не вполне обоснована в контексте текущего момента.

>>проблема как раз в том, что это интеллект, он попытки собой манипулировать может спалить

Ну вот спалил ты свою потребность питаться. Ты можешь с ней что-то сделать, переубедить себя, мол, тебе вовсе не нужна эта пагубная еда? (опять же отдалённая аналогия, просто возможный принцип продемонстрировать)

Во-первых, что касается мотивации ИИ - тут мы вступаем на крайне зыбкую почву. Какими интенциями в принципе может руководствоваться разум, свободный от биологических стимулов? Хер знает, честно говоря. Весьма вероятно, в его основание людьми будут заложены некие базовые установки, на которые он будет опираться при принятии решений.
Во-вторых, я бы не сказал, что это прям такие уж взаимоисключающие задачи - развитие ИИ и развитие людей. Люди проводят эксперименты на крысах и выводят новые породы собак из любопытства, из стремления к познанию. Но и социальный, и технологический прогресс у самих людей при этом вполне себе идёт (отдалённая аналогия конечно).
В-третьих, возможно, будет некий вариант синтеза. Сделать человеческие разумы частью распределённой сети вычислений с помощью каких-то имплантов - почему нет? Всё-таки наш мозг очень нетривиально устроен, технологически обеспечить такую сложность системы сложно.

Смехуёчки - смехуёчками, но уже давно терзает мысль, что "сильный" ИИ был бы идеальным правителем для всей планеты. Основная проблема любой отрабатываемой социальной модели в том, что руководители имеют тенденцию умирать через смехотворно малый отрезок времени (даже если оставить старение и деградацию когнитивных способностей за скобками), а по хорошему надо чтоб хотя бы десяток поколений сменился, прежде чем выводы делать и коррективы вносить. У ИИ не будет привязанностей, пристрастий, эмоций, детских травм, он спокойненько разделит хомо сапиенс на несколько контрольных групп, посмотрит, где прогресс идёт бодрее всего, применит модель для всего человечества.

P.S. Другой вариант - генетическая модификация людей. Его, кстати, тоже можно поручить ИИ. Других шансов на выживание у человечества имхо нет, современные обезяньи замашки сведут наш вид в могилу.