Грешка на ИИ за малко не предизвика война между САЩ и Китай

През септември CNN съобщи, че САЩ са били на крачка от военен сблъсък с Китай. Причината, според изданието, е военен анализатор, който използвал чатбот с изкуствен интелект, за да подготви разузнавателна оценка за китайски кораб. Анализът погрешно заключил, че корабът превозва ядрени материали. Когато грешката била открита, американските самолети вече били във въздуха, за да прехванат кораба.

Последваха дълги дискусии как модел с изкуствен интелект може да допусне толкова опасна грешка. Но докато споровете затихват, остава тревожен един друг въпрос: колко бързо оценка, направена с помощта на ИИ, е минала по командната верига и е придобила тежестта на проверено разузнаване.

Такъв е изводът на автор, който се занимава с изследване на вземането на решения при кризи и с оценка на разузнавателна информация, в коментар за това какво ще се случи, когато изкуственият интелект влезе в Ситуационната зала на Белия дом.

Докато спорим как бъдещият суперинтелект ще повлияе на човечеството, става все по-ясно, че изкуственият интелект много скоро ще влезе в Ситуационната зала, ако вече не е там. Всеки, който е участвал в кризи, свързани с националната сигурност, знае, че информацията често е твърде много, част от нея си противоречи, а времето и ясните начини да бъде подредена липсват.

Според автора има реален риск ИИ да засили предразсъдъците на лидерите, като им връща собствените им предположения с тежестта на обективен анализ и с лекотата на ясен отговор.

Често говорим за изкуствения интелект, сякаш е напълно независим – по-рационална система, която компенсира нашите слабости. В действителност обаче моделите са създадени от хора и обучени с данни, създадени от хора. После ние им задаваме въпроси, оформени от собствените ни убеждения. Резултатът съвсем не е обективен.

Слабостите на човешките решения са добре известни. Президентите и съветниците им винаги са трябвало да се пазят от т.нар. потвърждаващо пристрастие – склонността да тълкуваме доказателствата през призмата на това, което вече мислим, и да подценяваме или отхвърляме фактите, които ни противоречат.

Знаем също, че вниманието ни е избирателно и инстинктивно се залепва за по-ярките факти, а пропуска другите. Президентите не са имунизирани срещу тези слабости.

Според автора в използването на ИИ дебне и още по-коварна опасност. Всяко президентско решение стои върху безброй отделни преценки. Разумни хора могат да ги оценяват различно, а именно тези различия трябва да разреши президентът. Ако всичко се сведе до една-единствена вероятност, това скрива повече, отколкото показва, защото не личи кои признаци са сметнати за надеждни и кои са пренебрегнати.

Пример е нощта на 1 май 2011 г. Президентът Барак Обама събира съветниците си, за да оценят разузнавателните данни, според които Осама бин Ладен се крие в къща в Аботабад, Пакистан. Ако информацията е вярна, той ще изпрати американски войници. Доверените му и опитни съветници гледат на практика едни и същи данни, но оценките им варират от около 30 до 95%.

Сега си представете, че в залата има мощна система с ИИ, която обобщава оценките и казва, че вероятността бин Ладен да е там е 63,7%. Ще спечелим точност, но какво ще загубим?

Числото няма да каже на президента защо оценките се различават толкова. Няма да му покаже на какви противоречиви предположения стъпват те, нито как са претеглени последиците от действие и бездействие. И най-лошото – няма да му подскаже, че изобщо има разногласие. Такова „чисто“ число може да накара един въпрос да изглежда решен.

Към това се добавя и фактът, че ЦРУ, Разузнавателното управление на Министерството на отбраната, Държавният департамент, родовете войски и други агенции вероятно ще използват едни и същи базови модели, обучени с припокриващи се данни и източници. На теория може да се стигне до 10 оценки, които сочат в една посока, но всички произтичат от един и същ материал.

Авторът нарича това изкуствен консенсус – единодушие между институциите, което изглежда независимо, но отчасти е създадено от общите инструменти за анализ и е размножено в огромен мащаб.

Щом проблемите на човешкото мислене са известни, известни са и начините да им се противодейства. Според автора системите могат да бъдат създадени като доброжелателни опоненти, а тези, които вземат решения, да бъдат обучени да се отнасят с тях така.

От страна на технологиите е нужна система, която отговаря и спори. ИИ, използван за националната сигурност, не трябва да бъде оптимизиран само за бързина. Той трябва да помага да се прецени кои доказателства са надеждни, да предлага най-силните алтернативни обяснения, да разграничава фактите от изводите и прогнозите и да показва несигурността, вместо да създава фалшива точност.

Система, създадена да се съгласява, е опасна. Точките на триене и разногласие често са най-ценното за лидерите, които вземат трудни решения.

От страна на хората е нужно да задаваме по-добри въпроси. Това означава преди да се обърнем към ИИ, да си запишем какво вече мислим и колко сме сигурни. Да преглеждаме два-три пъти как сме формулирали въпроса. Вместо да търсим потвърждение, изрично да питаме за доказателства, които опровергават хипотезите ни, и за начини да различим конкуриращите се обяснения. И дори да се питаме дали изобщо задаваме правилния въпрос.

Според автора и директорът на националното разузнаване трябва да изиска от всички разузнавателни продукти, направени с помощта на ИИ, да посочват дали произлизат от едни и същи или от различни данни.

Когато 10 агенции са съгласни, президентът трябва да знае дали това са 10 преценки или една. Политиците могат и да дават едни и същи доказателства на различни модели с ИИ и да проверяват къде и защо преценките им се разминават.

Би било прекалено опростено от случая с китайския кораб да се заключи, че на изкуствения интелект му няма място в Ситуационната зала, смята авторът.

Той трябва да бъде създаден и използван така, че да кара лидерите да виждат слабостите в собственото си мислене, а не да ги затвърждава. В мъглата на кризата изборът никога не е очевиден и в крайна сметка само един човек носи тежестта на решението. Инструментите, които създаваме, никога не бива да позволят на президента да забрави това.