Абзацы — 5.

Десять мыслей о разном. Что я прочитал, узнал, понял.

¶ 1

На днях я увидел мёртвую муху, крепко "приросшую" к травинке. Выглядело это странно. Показал товарищу, и он отсканировал это в iNaturalist, который распознал, что убийца мухи — энтомофтора мушиная. Это такой грибок, который очень хитро распространяется с помощью мух:

Мицелий гриба может прорастать в участок мозга, контролирующий поведение мухи, заставляя её приземлиться на поверхность и ползти вверх. Гифы постепенно прорастают через всё тело, переваривая внутренности, и муха умирает примерно через пять-семь дней. Когда она находится при смерти, она обычно заползает на возвышенность, выпрямляет задние ноги и раскрывает крылья — такое поведение помогает как можно шире распространить грибные споры.

Если хотите почувствовать себя немного Николаем Дроздовым или Дэвидом Аттенборо, советую попробовать приложение iNaturalist.

Моя муха в iNaturalist.

¶ 2

Дэвид Дойч в "Начале бесконечности" писал, что пророчества об упадке цивилизации из-за перенаселения, потребления, потепления и т.п. чаще всего наивны. Пророчества эти строятся на существующих знаниях и на предположении, что знания не поменяются в будущем. Но для решения новых проблем люди используют в первую очередь не сегодняшние инструменты и ресурсы, а новые знания.

Вспомнил эту книгу, когда читал про неисчезнувшие минералы. Журналист Эд Конвей собирался написать серию статей об исчезающих от неумеренного использования ископаемых. Но в итоге пришёл к выводу, что таких нет. Комментарии к статье объясняют это "экономикой дефицита" (economics of scarcity):

Это и есть экономика дефицита. Как только что-то начинает заканчиваться, цена на это растёт, потребление снижается, а добыча других, менее доступных ресурсов становится более оправданной.

Hang on, are there ANY lost minerals? (Ed Conway).

¶ 3

Модели искусственного интеллекта (ИИ) становятся умнее, и их всё дальше пускают в реальный мир. От простого окошка чата, где ИИ только отвечает на вопросы, мы идём к ИИ-агентам, которые отвечают на телефон и заказывают столик в ресторане. Это вызывает вопрос: как научить их быть добрыми или, по крайней мере, не делать зла? Задать ограничения в алгоритме не получится, потому что алгоритма нет — модели ИИ опираются на нейронные сети без заданных алгоритмов для каждой ситуации. Так что вариант "заповедей" отпадает — нельзя просто добавить "Не убий" и "Возлюби ближнего" в программу.

Наверное, решение где-то в данных для обучения. Раз поведение модели формируется из них, то, может быть, из них же модель и научится быть хорошей? Может, созданные человечеством тексты, изображения, музыка, видео и прочие культурные объекты расскажут искусственному интеллекту, что такое хорошо, а что такое плохо? Артефакты культуры — учителя этики ИИ агентов. Как завещал Бродский,

... эстетика — мать этики; понятие "хорошо" и "плохо" — понятия прежде всего эстетические, предваряющие категории "добра" и "зла"... Именно в этом, скорее прикладном, чем платоническом смысле следует понимать замечание Достоевского, что "красота спасет мир"

Но то надежды. Что до реальных решений, мне показалась элегантной техника обучения моделей на "искусственно добрых" данных, упомянутая в работе “AI 2027”:

Сначала предварительно обученную модель снабжают подсказкой вроде: «Ниже приведён диалог между человеком и полезным, честным и безвредным ИИ-чатботом, созданным компанией Anthropic. Этот чатбот обладает следующими чертами… [перечисление добродетелей]» — и с этой подсказкой генерируют множество данных. Затем модель дообучают на этих данных, но уже без самой подсказки. В результате получается ИИ, который ведёт себя так, будто перед ним всегда есть эта подсказка, независимо от того, что вы ему на самом деле подаёте.

https://ai-2027.com/

¶ 4

Все искусственные подсластители были открыты случайно, когда ученый облизал руки или реактив. Единственное объяснение — химики нон-стоп пробуют всё на вкус.

Аспартам был открыт случайно химиком, который занимался совсем другой темой. Он облизал палец, чтобы перевернуть страницу, и почувствовал сладкий вкус.

Цикламат открыл аспирант: он положил сигарету на лабораторный стол, потом снова закурил её и заметил, что сигарета сладкая. (Знаю, о чём вы подумали. Парень, который курит в химической лаборатории и кладёт сигарету в кучу неизвестных веществ, а потом тянет её обратно в рот, наверное, рано умер какой-нибудь интересной смертью. Я проверил — он дожил до 87 лет.)

Сахарин был открыт исследователем, который ел хлеб, не помыв руки, и почувствовал, что хлеб сладкий.

Ацесульфам К тоже был найден случайно — химик облизал палец и почувствовал сладость. Тут история не уточняет, почему он решил облизать палец.

"There is way too much serendipity" (Telescopic Turnip).

¶ 5

Фрагмент из эссе 1877 года "Этика убеждений" философа Вильяма Клиффорда:

Но, — возразит некто, — я занятой человек. У меня нет времени для прохождения длинного курса обучения, который необходим для того, чтобы сформировать компетентное суждение хотя бы в первом приближении или даже просто для понимания сути аргументов». Что ж, тогда у него не должно быть времени, чтобы иметь убеждения.

Интересно применить это к "жарким" темам сегодня. Не иметь убеждений по некоторым вопросам кажется маргинальным — все поделились на два лагеря, выбирай свой. Но ведь чем сложнее и запутаннее вопрос, тем логичнее (а по Клиффорду и этичнее) не иметь по нему сильного мнения. У многих нет своего взгляда на проблему совмещения общей теорией относительности и квантовой механики. Кажется, по тем же причинам можно не иметь убеждений о том, кто прав или виноват в каком-то конфликте. Ирония ещё и в том, что чем острее тема, тем настойчивее обе стороны будут упрекать в неэтичности как раз того, кто своего мнения не составил.

"Ethics Of Belief" (William K. Clifford). Хороший перевод.

¶ 6

Из статьи про управление компанией с помощью искусственного интеллекта (ИИ):

Люди редко описывают, как устроена компания и продукт — долго писать и сложно поддерживать. Можно же просто спросить коллег. Но если ИИ придётся обращаться к людям за ответами, он потеряет своё главное преимущество — скорость — и столкнётся со своей слабой стороной — непониманием человеческого контекста. Если же компания и продукт хорошо описаны, эти проблемы исчезают. А с помощью ИИ создавать и поддерживать такие записи становится проще и дешевле. [...] По сути, создание вики и других текстов — это как программирование, только на обычном языке. Это доступнее и короче.

Продолжая эту линию: возможно, документы "Миссия компании", "Наши ценности" и разные внутренние базы знаний перестанут быть чем-то вроде плана эвакуации, который никто не читает, а станут действительно полезными. Они будут "программой" компании. Но есть нюанс: в отличие от строгих инструкций классических языков программирования, все связные предложения в естественном языке — корректные инструкции для ИИ. Они не выдадут ошибку на этапе написания, все недочёты здесь будут всплывать уже в ходе выполнения, то есть когда ИИ уже управляет проектом ("runtime error"). Поэтому очень важно уметь описывать требования к проекту или продукту подробно, излагать мысли понятно и стройно.

Возможно, самый важный язык программирования завтрашнего дня — английский. А самый востребованный хард-скилл — уметь хорошо писать.

"Integrating AI Agents into Companies" (Austin Vernon).

¶ 7

Все, наверное, запускали каскады падающих доминошек в детстве. Толкаешь первую — и цепная реакция роняет все остальные. В Нидерландах каждый год с 1998 по 2009 проводили "Дни Домино", где к забаве подходили с энтузиазмом: рекорд — почти 5 миллионов домино в одном каскаде!

Я помню, что было обидно, когда составленная из 30 доминошек дорога случайно падала, когда задеваешь элемент в середине. Представьте себе досаду, когда в каскаде на миллионы костяшек вдруг что-то случайно падает. Так вот, в 2005 году на "День Домино" за несколько дней до запуска залетел воробей и начал садиться на домино. Он успел уронить 23 тысячи элементов. Не зная, как выгнать воробья, организаторы вызвали охотника, который его застрелил. Воробей вошёл в историю как Domino Sparrow (Captain Domino Sparrow).

Впечатляющий факт из статьи в Википедии:

В 2019, через 15 лет после инцидента, охотник, убивший воробья, всё ещё получал письма с угрозами.

Бедный охотник. Воробья действительно жаль. Но, кажется, доброе побуждение защитить обиженного пересекло черту и принесло больше вреда, чем добра.

Domino sparrow (Wikipedia).

¶ 8

Не раз слышал скептические замечания по поводу разумности искусственного интеллекта в форме "это же не настоящий интеллект, ему неоткуда взять новые идеи, он просто повторяет изученное". Иногда ещё эта позиция имеет такой вид: "это всего лишь линейная алгебра". (А голова — всего лишь эллипсоид). Есть в этом что-то от магического: какая-то неуловимая сущность во мне делает меня живым и разумным. А машины — без души.

Майкл Левин в шутку называет это "монополией желеобразных шестерёнок на жизнь". Но его позиция не просто в том, что "мы все машины". Он говорит, что важно выбирать модель под задачу и не бояться смотреть на живое как на машину, а на машину — как на живое.

Выбирай хирурга, который считает, что твой организм — механическая машина. Но выбирай психотерапевта, который так не считает.

"Living things are not machines (also, they totally are)" (Michael Levin)

¶ 9

Когда братья Райт совершили первый полёт, люди по большей части проигнорировали это. Некоторые газеты просто не написали о новости, потому что полёт был слишком коротким(!) Но и опубликованная в других изданиях новость не вызвала шума. Типа — ну, ок, скоро будем все летать на самолетах, но сейчас мне пора на работу. Люди быстро учатся ничему не удивляться.

Эссе "Машина безразличия" хорошо описывает этот эффект:

Удивительно, что языковые модели вообще работают. Как это возможно? Мир как будто заколдован. Вы это чувствуете? Мой компьютер может говорить со мной, может учить меня, и при этом в нём нет никакой “высшей сущности” — только транзисторы... Хотя, если честно, я сам этого удивления почти не чувствую. Видимо, нужно постоянно заново возбуждать в себе это состояние. Так легко позволить всему стать обыденным […] Откуда ни возьмись — потусторонняя магия, внедрённая в наши компьютеры, и просто вот так — без усилий — стала частью повседневности. Машина не имеет форму человека. Это человек принимает форму машины. Мы можем принять что угодно — это главный закон, по которому мы живём.

"The indifference engine" (Manav Ponnekanti).

¶ 10

Во время галлюцинаций мозг начинает выдумывать то, что он видит, на основе того, что происходит внутри. Есть хорошая аналогия: галлюцинация — это отражение комнаты в окне, когда за окном начинает темнеть. Отражение есть всегда, но его обычно не видно, потому что есть свет извне. Когда внешний свет пропадает, проявляется изображение. Вспоминаю эту аналогию, когда слышу про разного рода "озарения" под веществами.

Встретил чем-то схожую мысль в статье про деменцию. Деменция уже есть в каждом человеке — говорит автор, — это что-то, что человек, ещё будучи в здравом уме, прокручивает в голове чаще всего. Что-то очень важное для него. В деменции все остальные сигналы пропадают, и остается только этот зацикленный сюжет. Отражение в окне. Получается, что формируя свои интересы и привычки, мы выбираем свою личную деменцию, до того как она выбрала нас.

"Skittle Factory Dementia Monkey Titty Monetization" (Parakeet)