Anglijskaya versiya | English Version
Versiya 2.0
(17.12.1997)
Nik Bostrom
Fakul'tet filosofii, logiki i nauchnoj
metodologii
Londonskaya shkola ekonomiki
n.bostrom@lse.ac.uk
http://www.hedweb.com/nickb
Perevod na russkij yazyk
Mihaila Sverdlova,
mino@mail.ru
http://mikeai.i-connect.com
V stat'e privodyatsya osnovnye argumenty v pol'zu togo, chto iskusstvennyj intellekt (II) so sverhchelovecheskimi vozmozhnostyami poyavitsya ne dalee kak v pervoj treti 21 veka.
Pod "superintellektom" my ponimaem intellekt, prevoshodyashchij luchshih predstavitelej chelovecheskogo razuma prakticheski v lyuboj oblasti, vklyuchaya nauchnoe tvorchestvo, zdravyj smysl i social'nye navyki. Dannoe opredelenie ostavlyaet otkrytym vopros, kakim obrazom superintellekt budet osushchestvl¸n: eto mozhet byt' cifrovoj komp'yuter, sovokupnost' vzaimosvyazannyh komp'yuterov, kul'tivirovannaya mozgovaya tkan', ili nechto drugoe.
Zakon Mura utverzhdaet, chto skorost' processorov udvaivaetsya kazhdye vosemnadcat' mesyacev [A]. Ran'she udvoenie skorosti proishodilo kazhdye dva goda, no okolo pyatnadcati let nazad situaciya izmenilas'. Poslednie dannye pokazyvayut, chto period udvoeniya uzhe sostavlyaet 12 mesyacev. Pri takom tempe vychislitel'naya moshchnost' vozrast¸t za desyat' let tysyachekratno.
Zakon Mura - eto to, na chto opirayutsya proizvoditeli mikroshem, kogda reshayut, kakie chipy razrabatyvat', chtoby sohranit' konkurentosposobnost'. Esli ocenit' vychislitel'nye sposobnosti mozga cheloveka i ekstrapolirovat' zakon Mura (mozhno li eto delat', budet obsuzhdat'sya nizhe), my smozhem vychislit', skol'ko potrebuetsya vremeni, chtoby komp'yutery po apparatnoj moshchnosti dostigli chelovecheskogo intellekta.
Segodnya (na dekabr' 1997 goda) samyj bystryj superkomp'yuter vypolnyaet 1,5 trilliona operacij v sekundu (1,5 Tops). Sushchestvuet proekt, imeyushchij cel'yu poluchit' proizvoditel'nost' v 10 Tops s pomoshch'yu Interneta. Sto tysyach dobrovol'cev ustanovyat na svoi komp'yutery hranitel' ekrana, kotoryj pozvolit central'nomu komp'yuteru delegirovat' vsem ostal'nym nekotorye vychislitel'nye zadaniya. |tot (t.n. metakomp'yuternyj) podhod nailuchshim obrazom rabotaet dlya zadach, legko poddayushchihsya parallelizacii, kak, naprimer, ischerpyvayushchij poisk dlya vzloma koda. V budushchem, s kanalami bol'shej propusknoj sposobnosti (naprimer, optovolokonnymi), shirokomasshtabnyj metakomp'yuting budet rabotat' eshch¸ luchshe, chem segodnya. Modelirovanie mozga po svoej prirode otnositel'no legko podda¸tsya parallelizacii, poetomu ogromnaya raspredel¸nnaya v Internete imitaciya mozga mogla by stat' v budushchem real'noj al'ternativoj. Odnako dlya tekushchih celej my prenebrezh¸m etoj vozmozhnost'yu, a budem schitat' mashinu, vypolnyayushchuyu 1,5 Tops, luchshim, chem my segodnya raspolagaem. Potencial metakomp'yutinga mozhet byt' vved¸n v nash prognoz v kachestve dopolnitel'nogo osnovaniya dumat', chto dostupnaya vychislitel'naya moshchnost' budet prodolzhat' rasti kak predskazyvaet zakon Mura.
Dazhe bez kakogo-libo uluchsheniya tehnologii my mozhem poluchit' neskol'ko luchshij rezul'tat, k primeru, udvoiv chislo chipov v odnom korpuse. Pravitel'stvom SSHA byl zakazan komp'yuter moshchnost'yu 3 Tops dlya razrabotki i testirovaniya strategicheskogo yadernogo oruzhiya. Odnako, uchityvaya, chto stoimost' etoj mashiny sostavlyaet 94 mln. dollarov, ochevidno, chto dazhe krupnoe dopolnitel'noe finansirovanie pozvolilo by v korotkom promezhutke vremeni dobit'sya lish' ves'ma skromnogo prirashcheniya vychislitel'nyh moshchnostej.
Naskol'ko veski osnovaniya polagat', chto zakon Mura budet prodolzhat' vypolnyat'sya v budushchem? Ochevidno, rano ili pozdno on dolzhen perestat' dejstvovat'. Sushchestvuyut fizicheskie ogranicheniya na plotnost', s kotoroj materiya mozhet hranit' i obrabatyvat' informaciyu. Ogranichenie Bekenshtejna da¸t verhnij predel kolichestva informacii, kotoraya mozhet soderzhat'sya v predelah zadannogo ob®¸ma pri ispol'zovanii zadannogo kolichestva energii. Poskol'ku kolonizaciya kosmosa dala by maksimum polinomial'nyj (~t^3) temp rasshireniya (uchityvaya, chto maksimal'naya skorost' ogranichena skorost'yu sveta), eksponencial'noe uvelichenie dostupnoj vychislitel'noj moshchnosti ne mozhet prodolzhat'sya beskonechno, esli tol'ko ne budut otkryty novye zakony fiziki.
Na moj vzglyad zakon Mura poteryaet doverie k sebe zadolgo do togo, kak my dostignem absolyutnyh fizicheskih predelov. Veroyatno, on ne imeet bol'shoj predskazatel'noj sily dalee, chem v predelah sleduyushchih pyatnadcati let. Nel'zya skazat', chto skorost' processorov ne budet prodolzhat' udvaivat'sya kazhdye dvenadcat' ili vosemnadcat' mesyacev posle 2012 goda; my lish' ne mozhem ispol'zovat' zakon Mura, chtoby eto utverzhdat'. Esli zhe my hotim delat' predskazaniya dalee etoj daty, my budem dolzhny posmotret' neposredstvenno, chto vozmozhno fizicheski. Takzhe, predpolozhitel'no, eto budet oznachat', chto nam prid¸tsya imet' delo s intervalom bol'shej neopredel¸nnosti na osi vremeni. Izuchenie fizicheskih vozmozhnostej v luchshem sluchae govorit nam, chto sluchitsya, esli lyudi zahotyat, chtoby eto sluchilos'; no dazhe esli predpolozhit', chto potrebnost' budet, eto ne dast nam informaciyu, kogda eto sluchitsya.
Okolo 2007 goda my dostignem fizicheskogo predela segodnyashnej kremnievoj tehnologii. Odnako zakon Mura do sih por uzhe perezhil neskol'ko smen tehnologicheskih pokolenij, ot rele k vakuumnym lampam, dalee k tranzistoram, integral'nym shemam, i, nakonec, k sverhbol'shim integral'nym shemam (SBIS). Ne sushchestvuet prichin polagat', chto segodnyashnij dizajn SBIS, dvuhmernaya kremnievaya vaflya, stanet zavershayushchim slovom v tehnologii chipov. Uzhe predlozheny i razrabatyvayutsya neskol'ko sposobov preodolet' ogranicheniya segodnyashnej tehnologii.
V blizhajshem budushchem, k primeru, mozhet okazat'sya vozmozhnym ispol'zovat' fazovyj sdvig shablona, chtoby dovesti minimal'noe rasstoyanie mezhdu dvumya ryadami elementov na mikrochipe vplot' do 0,13 mikrometra, dazhe pri sohranenii vidimogo diapazona izlucheniya pri litografii. Za predelami zhe vidimogo diapazona my mogli by ispol'zovat' rentgenovskie luchi ili po men'shej mere ul'trafiolet na predele diapazona (t.n. "myagkie rentgenovskie luchi") dlya dostizheniya eshch¸ bol'shej tochnosti. Esli eto ne udastsya, mozhno bylo by ispol'zovat' elektronnyj luch, hotya eto metod proizvodstva budet medlennym, a, znachit, dorogim. Kompromiss mog by zaklyuchat'sya v nanesenii elektronnym luchom chasti vhodov i vyhodov, gde skorost' imeet reshayushchee znachenie, i ispol'zovanii vidimogo spektra ili myagkogo rentgena dlya zapisi ostal'nyh elementov na chip.
Takzhe my mozhem uvelichit' moshchnost' chipa, ispol'zuya bol'she slo¸v, - tehnika, kotoruyu lish' nedavno nachali osvaivat', a takzhe delaya bolee tolstye vafli (do 300 mm - ne dolzhno byt' problemoj). Mozhno izgotavlivat' sushchestvenno bol'shie po razmeram chipy pri nalichii nekotorogo dopuska na oshibki. Dopusk na oshibki mog by byt' poluchen pri ispol'zovanii evolyucioniruyushchih kristallov (DeGaris).
Takzhe vozmozhno otodvinut' fizicheskie ogranicheniya na razmery tranzistorov, esli perejti na novye materialy, takie kak Gallium Arsenide. Sejchas razrabatyvayutsya kvantovye tranzistory, obeshchayushchie novoe slovo v tehnologii chipov. Im budet prisushcha vysokaya skorost' pereklyucheniya ili nizkoe potreblenie energii.
Blagodarya vysokoparallel'noj prirode vychislenij, podobnyh proizvodimym mozgom, takzhe dolzhno byt' vozmozhnym ispol'zovanie vysokoparallel'noj arhitektury. V etom sluchae budet dostatochnym proizvesti znachitel'noe kolichestvo srednih po skorosti processorov, i dalee svyazat' ih v lokal'nye seti soedineniyami s vysokoj propusknoj sposobnost'yu. Takzhe my uzhe upomyanuli vozmozhnost' metakomp'yutinga. [B]
Vs¸ eto - to, chto razrabatyvaetsya segodnya. |ti tehnologii nakachivayutsya krupnym finansirovaniem [C]. I, hotya zatrudneniya mogut pokazat'sya ves'ma ser'¸znymi cheloveku, rabotayushchemu v dannoj oblasti i postoyanno sosredotochennomu na kazhdodnevnyh problemah, spravedlivo budet skazat', chto sredi ekspertov shiroko rasprostran¸n optimizm otnositel'no perspektiv, chto v obozrimom budushchem moshchnost' komp'yuterov budet prodolzhat' rasti.
Primechaniya
[A] Na samom dele ne ochevidno, o ch¸m imenno govorit zakon Mura. Zakon poluchil svo¸ imya po imeni Gordona Mura, odnogo iz osnovatelej korporacii Intel, kotoryj v 1965 godu zametil, chto kazhdyj god plotnost' shemy mikrochipov udvaivaetsya. V 1975 godu on sdelal predskazanie, chto s etogo momenta i dalee, period udvoeniya budet sostavlyat' dva goda. Real'noe vremya udvoeniya neskol'ko kolebalos'. Vnachale ono sostavlyalo odin god, potom dva goda, a sejchas snova vernulos' primerno k odnomu godu. Poetomu, kogda ssylayutsya na zakon Mura, odna dvusmyslennost' v tom, chto neponyatno, sostavlyaet li konstanta vremeni god, dva goda, ili predpolagaetsya, chto ona dolzhna byt' takoj, kak sleduet iz samyh poslednih dannyh. Vtoraya dvusmyslennost', chto iznachal'noe utverzhdenie bylo sformulirovano skoree o kolichestve tranzistorov, pomeshchayushchihsya na edinice ploshchadi, chem o skorosti chipa. Do sih por eto razlichie ne imelo bol'shogo znacheniya, poskol'ku plotnost' shemy i skorost' sil'no korrelirovali i shli ruka ob ruku. Odnako, esli my govorim o budushchem, vozmozhno, my budem poluchat' uvelichenie vychislitel'noj moshchnosti inymi sredstvami, nezheli umen'shaya razmer tranzistorov. Poetomu imeet smysl pereformulirovat' zakon Mura v utverzhdenie, govoryashchee skoree ob eksponencial'nom roste vychislitel'noj moshchnosti (na dollar s popravkoj na inflyaciyu), chem o plotnosti upakovki shemy. Luchshe oboznachit' "zakonom Mura" etu slegka modificirovannuyu gipotezu, chem izobretat' novyj termin po suti dlya toj zhe idei.
[B] V dlitel'noj perspektive, my dolzhny takzhe prinimat' v rassmotrenie nanotehnologiyu i kvantovye komp'yutery.
[C] Segodnya trebuetsya okolo 400 inzhenerov, chtoby proizvesti novyj chip. Sovremennaya fabrika po proizvodstvu mikroshem mozhet stoit' bolee 2 mlrd. dollarov. Kazhdyj god na razrabotku i konstruirovanie mikrochipov tratitsya ot 20 do 30 milliardov. S godami eti cifry rosli, poetomu sleduet otmetit', chto odin iz faktorov, sposobnyj zamedlit' temp razvitiya - snizhenie finansirovaniya, kotoroe rano ili pozdno proizojd¸t.
CHelovecheskij mozg soderzhit primerno 100 milliardov nejronov. Kazhdyj nejron imeet okolo 5 tysyach sinapsov, a signaly prohodyat cherez eti sinapsy s chastotoj okolo 100 Gc. Kazhdyj signal, dopustim, soderzhit 5 bit. |to sootvetstvuet 10^17 ops.[D]
Real'noe znachenie ne mozhet byt' namnogo vyshe etogo, hotya mozhet byt' i znachitel'no nizhe. Pohozhe, chto mozg soderzhit bol'shuyu izbytochnost'; chasto trebuetsya sinhronnoe vozbuzhdenie bol'shih grupp nejronov, chtoby signal ne utonul v fonovom shume. Al'ternativnyj sposob vychisleniya obshchej proizvoditel'nosti - rassmotret' nekotoruyu chast' kory golovnogo mozga, vypolnyayushchuyu funkcii, kotorye my umeem vosproizvodit' na cifrovyh komp'yuterah. My vychislyaem srednyuyu proizvoditel'nost' odnogo nejrona v oblasti kory mozga, ekvivalentnuyu vychisleniyam s pomoshch'yu komp'yutera, i umnozhaem eto znachenie na kolichestvo nejronov v mozgu. Gans Moravek proizv¸l eti vychisleniya, ispol'zuya dannye o setchatke glaza cheloveka (Moravec 1997), i sravnil ih s izvestnymi trebovaniyami k komp'yuternym resursam v zadache raspoznavaniya obrazov v mashinnom zrenii. On poluchil znachenie 10^14 dlya chelovecheskogo mozga v celom. |to na tri poryadka men'she, chem verhnyaya granica, vychislennaya v predpolozhenii, chto izbytochnosti net.
Trudno najti osnovaniya, zastavlyayushchie predpolozhit', chto izbytochnost' v setchatke bol'she, chem v kore. Esli i est' otlichie v izbytochnosti, to skoree naoborot, v setchatke ona budet men'she: raspoznavanie obrazov - zadacha bolee nizkogo urovnya po sravneniyu s vysshimi kognitivnymi processami, a znachit, po-vidimomu, bolee optimizirovana (evolyuciej i individual'nym obucheniem).
Esli neobhodimo 100 Tops, chtoby imitirovat' chelovecheskij mozg, to trebuemaya vychislitel'naya moshchnost' budet dostignuta gde-to mezhdu 2004 i 2008 godom v zavisimosti ot togo, vzyat' vremya udvoeniya 12 ili 18 mesyacev. |to budut luchshie eksperimental'nye superkomp'yutery v mire, ne obyazatel'no komp'yutery, dostupnye dlya razrabotchikov II. V zavisimosti ot finansirovaniya, mozhet projti eshch¸ do desyatka let, prezhde chem obychnye issledovateli, eksperimentiruyushchie s II, poluchat dostup k mashinam s takoj proizvoditel'nost'yu.
|to esli my ber¸m v kachestve modeli imitaciyu setchatki. V nastoyashchee vremya, odnako, izvestno nedostatochno o kore bol'shih polusharij, chtoby vosproizvesti ih takim optimizirovannym obrazom. No k 2004-2008 gg. eti znaniya mogut poyavit'sya (kak my uvidim v sleduyushchem paragrafe). CHto trebuetsya, chtoby poluchit' II chelovecheskogo urovnya pri etoj minimal'noj moshchnosti oborudovaniya - eto umenie modelirovat' 1000-nejronnye sovokupnosti vysokoeffektivnym sposobom.
Krajnij variant, na kotoryj my opiralis' v ocenke verhnej granicy - modelirovanie kazhdogo nejrona otdel'no. Kolichestvo taktov, kotoroe nejrologi mogut potratit' na modelirovanie processov vnutri edinstvennogo nejrona - ne ogranicheno. No eto tak, poskol'ku ih cel' - detal'noe modelirovanie himicheskih i elektrodinamicheskih processov v nervnoj kletke, a ne prosto vypolnenie minimal'nyh vychislenij, kotorye trebuyutsya dlya povtoreniya svojstv ih funkcii srabatyvaniya, neobhodimyh v obshchem funkcionirovanii nejronnoj seti. Neizvestno, naskol'ko bol'shaya chast' etih detalej izbytochna i nesushchestvenna, i kak mnogo iz nih dolzhno byt' sohraneno, chtoby model' vosproizvodila svojstva seti kak celogo. Odnako, po krajnej mere na vzglyad avtora, mnogo shansov v pol'zu togo, chto uzly seti mogut byt' sil'no uproshcheny i zameneny prostymi standartizirovannymi elementami. Predstavlyaetsya sovershenno real'nym poluchit' razumnuyu nejronnuyu set' s samymi raznoobraznymi vyhodnymi funkciyami nejronov i vremenem zaderzhki.
Odnako vyglyadit vpolne realistichno, chto esli my budem umet' vosproizvodit' idealizirovannyj nejron i znat' dostatochno o sinapticheskoj strukture mozga, my smozhem sostavit' iskusstvennye nejrony vmeste tak, chtoby eto funkcional'no otrazhalo proishodyashchee v mozgu. Dalee my takzhe smozhem zamenit' celye 1000-nejronnye moduli na chto-to, dlya modelirovaniya chego trebuetsya men'she vychislitel'noj moshchnosti, chem v sluchae modelirovaniya kazhdogo nejrona v module po otdel'nosti. My vpolne mogli by dojti vplot' do 1000 instrukcij na nejron v sekundu, kak eto vytekaet iz ocenki, sdelannoj Moravekom (10^14 ops / 10^11 nejronov = 1000 operacij v sekundu na nejron). No krome sluchaya, kogda my budem sposobny postroit' eti moduli ran'she, chem mozg celikom, takaya optimizaciya budet vozmozhna tol'ko posle togo, kak uzhe budet razrabotan II, ekvivalentnyj cheloveku.
Esli vzyat' verhnyuyu granicu vychislitel'noj moshchnosti, nuzhnoj dlya modelirovaniya chelovecheskogo mozga, t.e. predpolozhit', chto imeetsya dostatochno resursov dlya imitirovaniya kazhdogo nejrona individual'no (10^17 ops), zakon Mura govorit, chto nam prid¸tsya podozhdat' primerno do 2015 ili 2024 goda (pri periode udvoeniya 12 ili 18 mesyacev sootvetstvenno) prezhde chem budut v nalichii superkomp'yutery s trebuemoj proizvoditel'nost'yu. No esli k tomu vremeni my budem umet' delat' modelirovanie na urovne individual'nyh nejronov, predpolozhitel'no, my takzhe najd¸m po men'shej mere nekotorye sposoby optimizacii, poetomu veroyatno my mogli by neskol'ko skorrektirovat' eti verhnie granicy vniz.
Poka ya govoril tol'ko o skorosti processora, no chtoby imet' proizvoditel'nost' chelovecheskogo mozga, komp'yutery takzhe dolzhny imet' bol'shoj ob®¸m pamyati. Na protyazhenii vsej istorii komp'yuterov, otnoshenie mezhdu pamyat'yu i skorost'yu ostavalos' bolee ili menee postoyannym: 1 bajt/ops. Tak kak signal pereda¸tsya vdol' sinapsa v srednem s chastotoj okolo 100 Gc, a ego zapominayushchaya sposobnost', veroyatno, menee 100 bajt (1 bajt vyglyadit bolee pravdopodobnoj ocenkoj), pohozhe, skorost' v bol'shej stepeni, nezheli pamyat' byla by uzkim mestom v modelirovanii mozga na nejronnom urovne. (Esli zhe predpolozhit', chto pri modelirovanii my dostignem tysyachekratnogo prevoshodstva v skorosti nad real'nym mozgom, kak eto vytekaet iz ocenki Moraveka, togda trebovaniya k skorosti mogut umen'shit'sya. Vozmozhno, oni mogli by byt' na odin poryadok men'she trebovanij k pamyati. No esli put¸m modelirovaniya grupp iz 1000 nejronov my smozhem optimizirovat' na tri poryadka trebovaniya k skorosti, veroyatno, takzhe my smozhem sokratit' po krajnej mere na odin poryadok i trebovaniya k pamyati. Takim obrazom trudnost' sozdaniya dostatochnoj pamyati mozhet byt' znachitel'no men'she, i pochti navernyaka ne znachitel'no bol'she, chem slozhnost' sozdaniya dostatochno bystrogo processora. Sledovatel'no, my mozhem sfokusirovat' nashe vnimanie na skorosti kak na reshayushchem parametre v voprose apparatnyh sredstv.)
V dannoj stat'e ne obsuzhdaetsya vozmozhnost', chto kvantovye yavleniya nepredvidenno vtorgayutsya v process chelovecheskogo poznaniya. Hameroff i Penrouz, a takzhe nekotorye drugie predpolagayut, chto v mikrotrubkah mogut sushchestvovat' kogerentnye kvantovye sostoyaniya, i mozg ispol'zuet eti yavleniya dlya resheniya slozhnyh vysokourovnevyh poznavatel'nyh zadach. Mnenie avtora - eto malopravdopodobno. My ne budem zdes' rassmatrivat' argumenty za i protiv; prosto v etoj stat'e budet predpolagat'sya, chto kvantovye fenomeny v modelirovanii mozga vysokogo urovnya funkcional'no nesushchestvenny.
V zaklyuchenie mozhno skazat', chto moshchnost' apparatnyh sredstv dlya ekvivalentnogo cheloveku II veroyatno budet imet'sya do konca pervoj chetverti sleduyushchego stoletiya, i dazhe mozhet byt' poluchena uzhe v 2004 godu. Sootvetstvuyushchaya moshchnost' budet dostupna vedushchim laboratoriyam po razrabotke II v techenie desyati let posle etogo (ili ran'she, esli potencial II chelovecheskogo urovnya budet k tomu vremeni ocenen luchshe finansiruyushchimi organizaciyami).
Primechaniya
[D] Vozmozhny nebol'shie utochneniya k etoj ocenke. Naprimer, sushchestvuyut nekotorye dannye, chto nekotoryj ogranichennyj ob®¸m kommunikacii mezhdu nervnymi kletkami vozmozhen bez sinapticheskoj peredachi. My imeem regulyatornye mehanizmy, sostoyashchie iz nejrotranzmitorov i ih istochnikov, receptorov i kanalov povtornogo pogloshcheniya. Togda kak balansy nejrotranzmitorov kriticheski vazhny dlya pravil'nogo funkcionirovaniya chelovecheskogo mozga, oni imeyut neznachitel'noe informacionnoe soderzhanie po sravneniyu s sinapticheskoj strukturoj. Vozmozhno, bolee ser'¸znyj moment - chto nejrony chasto imeyut dostatochno slozhnye svojstva po integracii signalov vo vremeni. (Koch 1997). Budet li imet' konkretnyj nabor sinapticheskih vhodov rezul'tatom vozbuzhdenie nekoego nejrona, zavisit ot momenta, kogda eto proishodit. Po mneniyu avtora, krome, vozmozhno, nebol'shogo kolichestva osobyh prilozhenij, takih kak vospriyatie stereo zvuchaniya, vremennye svojstva nejronov mogut byt' legko soglasovany s razresheniem modeli po vremeni na urovne 1 ms. V neoptimizirovannoj modeli eto by dobavilo poryadok k ocenke, dannoj vyshe, gde my polagali razreshenie po vremeni 10 ms, sootvetstvuyushchee chastote vozbuzhdeniya 100 Gc. Odnako, drugie znacheniya, na kotoryh osnovyvalas' eta ocenka, pohozhe, budut skoree zavyshennymi, chem zanizhennymi. Poetomu nam ne sleduet sil'no izmenyat' ocenku, chtoby sdelat' popravku na vozmozhnye effekty vysokodiskretnogo integrirovaniya po vremeni v nejronnom dereve dendritov. (Zamet'te, chto dazhe esli by nam prishlos' skorrektirovat' nashu ocenku na poryadok vverh, eto dobavilo by vsego tri goda k predskazannoj pozdnej date poyavleniya apparatnyh sredstv, ekvivalentnyh po moshchnosti cheloveku. Rannyaya data, kotoraya osnovyvaetsya na ocenke Moraveka, ostalas' by neizmennoj.)
Krome apparatnogo superintellekt trebuet programmnogo obespecheniya. Sushchestvuet neskol'ko podhodov k etoj probleme, razlichayushchihsya po stepeni ispol'zovaniya principa "programmirovanie sverhu vniz". V odnom predel'nom sluchae - eto sistemy podobnye CYC, kotoraya predstavlyaet soboj sovokupnost' ochen' bol'shoj podobnoj enciklopedii bazy znanij i mashin po vyvedeniyu sledstvij. E¸ napolnyaet faktami, pravilami "bol'shogo pal'ca", evristikami i drugimi chelovecheskimi znaniyami komanda operatorov i ekspertov v techenie bolee chem desyatka let. Hotya sistemy podobnye CYC mogut byt' horoshi dlya opredel¸nnyh prakticheskih zadach, edva li eto podhod, sposobnyj ubedit' skeptikov II, chto superintellekt mozhet stat' real'nost'yu v obozrimom budushchem. Nam sleduet podumat' o paradigmah, v kotoryh trebuetsya men'she vvoda informacii chelovekom, t.e. v bol'shej stepeni ispol'zuyushchih metody programmirovaniya "snizu vverh".
Pri dostatochnyh apparatnyh vozmozhnostyah i sootvetstvuyushchem sposobe programmirovaniya my by mogli zastavit' mashiny uchit'sya tak zhe, kak eto delayut deti, t.e. vzaimodejstvuya s vzroslymi chelovecheskimi individami i drugimi ob®ektami v ih okruzhenii. Sushchestvuyut horosho izvestnye metody, takie kak algoritm obratnogo rasprostraneniya pogreshnosti (Backpropagation algorithm), kotorye mogut davat' horoshie rezul'taty vo mnogih nebol'shih prilozheniyah, vklyuchayushchih mnogoslojnye nejronnye seti. K sozhaleniyu, etot algoritm ploho masshtabiruetsya. Pravilo obucheniya Gebbiana, naprotiv, prekrasno masshtabiruetsya (ono masshtabiruetsya linejno, t.k. kazhdoe obnovlenie vesa vklyuchaet rassmotrenie aktivnosti lish' dvuh uzlov, vne zavisimosti ot razmera seti). Izvestno, chto ono - osnovnoj princip obucheniya v mozgu. Pohozhe, odnako, chto pravilo Gebbiana - ne edinstvennyj princip obucheniya, dejstvuyushchij v mozgu. Takzhe vozmozhno neobhodimo budet prinyat' vo vnimanie, k primeru, obuchenie "stimulirovannoe voznagrazhdeniem" (Morillo 1992) i drugie obuchayushchie principy, kotorye eshch¸ predstoit otkryt'. Krome togo, ne izvestno, kakim obrazom Gebbianovskoe obuchenie v chistom vide pozvolilo by mozgu hranit' strukturirovannye predstavleniya v dolgovremennoj pamyati, hotya neskol'ko mehanizmov predlozheno (Bostrom 1996).
Krome podhodyashchih pravil obucheniya (i dostatochno moshchnyh apparatnyh sredstv) sozdanie superintellekta put¸m imitacii funkcionirovaniya chelovecheskogo mozga potrebuet eshch¸ dve veshchi: nalichie adekvatnoj nachal'noj arhitektury i obespechenie bogatogo potoka sensornyh vhodnyh signalov.
Vtoroe ukazannoe uslovie legko obespechivaetsya dazhe sushchestvuyushchej tehnologiej. Ispol'zuya videokamery, mikrofony i taktil'nye sensory, vozmozhno obespechit' ustojchivyj potok informacii real'nogo mira v iskusstvennuyu nejronnuyu set'. |lement interaktivnosti mozhet byt' osushchestvl¸n put¸m prisoedineniya k sisteme manipulyatorov i dinamikov.
Razrabotka adekvatnoj nachal'noj struktury seti stavit bolee ser'¸znuyu zadachu. CHtoby poluchit' pravil'nuyu arhitekturu kory mozga, mozhet okazat'sya neobhodimym napisat' znachitel'nyj ob®¸m koda vruchnuyu. V biologicheskih organizmah mozg ne poyavlyaetsya pri rozhdenii kak gomogennaya chistaya doska; on imeet nachal'nuyu strukturu, zaprogrammirovannuyu geneticheski. Na segodnyashnij den' nejrologiya ne sposobna ukazat' tochno, kakova eta struktura, i kakuyu chast' ot ne¸ ponadobitsya sohranit' v modeli, chtoby ona v konechnom sch¸te sootvetstvovala poznavatel'nym sposobnostyam vzroslogo cheloveka. Odna iz neozhidannyh trudnostej na puti sozdaniya II chelovecheskogo urovnya po principu nejronnyh setej mozhet poyavit'sya, esli okazhetsya, chto chelovecheskij mozg opiraetsya na kolossal'noe kolichestvo geneticheski ustanovlennyh svyazej, i poetomu kazhdaya poznavatel'naya funkciya zavisit ot unikal'noj i krajne zaputannoj vrozhd¸nnoj arhitektury, porozhd¸nnoj tysyacheletiyami evolyucionnogo processa obucheniya nashego biologicheskogo vida.
Mozhet li okazat'sya tak? Sushchestvuet po krajnej mere tri obshchih soobrazheniya, svidetel'stvuyushchie ob obratnom. Zdes' nam neobhodimo poznakomit'sya s ochen' korotkim obzorom etih soobrazhenij. Dlya bolee glubokogo rassmotreniya voprosa chitatel' mozhet obratit'sya k Phillips & Singer (1996).
Vo-pervyh, primem vo vnimanie plastichnost' kory polusharij, osobenno u mladencev. Izvestno, chto povrezhdeniya kory, dazhe znachitel'nye, chasto mogut kompensirovat'sya, esli sluchayutsya v rannem vozraste. Drugie korkovye oblasti berut na sebya funkcii, kotorye v obychnom sluchae razvilis' by v razrushennom uchastke. Naprimer, v odnom issledovanii chuvstvitel'nost' k harakteristikam zritel'nyh obrazov u novorozhd¸nnyh hor'kov razvivalas' v sluhovoj kore posle togo kak normal'nyj kanal sluhovogo vhoda v etom uchastke mozga zamenili na vizual'nye proekcii (Sur et al. 1988). Podobnym obrazom bylo pokazano, chto vizual'naya kora mozhet brat' na sebya i funkcii, obychno vypolnyaemye sensomotornym uchastkom mozga (Schlaggar & O'Leary 1991). Nedavnij eksperiment (Cohen et al. 1997) pokazal, chto lyudi, oslepshie v rannem vozraste, mogut ispol'zovat' vizual'nuyu koru mozga dlya obrabotki taktil'nyh oshchushchenij pri chtenii s pomoshch'yu azbuki Brajlya.
Pravda, sushchestvuyut nekotorye bolee primitivnye oblasti mozga, ch'i funkcii ne mogut byt' vzyaty na sebya drugim uchastkom. Naprimer, lyudi, u kotoryh udal¸n gippokampus, teryayut sposobnost' zapominat' novye epizody i semanticheskie konstrukcii. No kora polusharij imeet tendenciyu byt' vysoko plastichnoj; eto - to mesto, gde osushchestvlyaetsya obrabotka naibolee vysokogo urovnya, delayushchaya nas intellektual'no vyshe zhivotnyh. Bylo by interesno issledovat' bolee podrobno, do kakoj stepeni eto osta¸tsya vernym dlya vsej kory polusharij. Sushchestvuyut li takie malen'kie otdely kory mozga, chto esli ih udalit' pri rozhdenii, sub®ekt nikogda ne obret¸t opredel¸nnyh vysshih sposobnostej, dazhe v ogranichennoj stepeni?
Vtoroe soobrazhenie, vozmozhno, svidetel'stvuyushchee, chto vrozhd¸nnaya arhitekturnaya differenciaciya igraet otnositel'no maluyu rol' v obshchem funkcionirovanii zrelogo mozga: naskol'ko izvestno, arhitektura kory polusharij cheloveka, osobenno mladencev, udivitel'no gomogenna dlya razlichnyh uchastkov mozga, i dazhe gomogenna u razlichnyh biologicheskih vidov:
Tonkie obolochki i vertikal'nye svyazi mezhdu obolochkami - otlichitel'nye cherty vseh korkovyh sistem; morfologicheskie i fiziologicheskie harakteristiki korkovyh nejronov ekvivalentny u raznyh vidov, ravno kak i razlichnye vidy sinapticheskih vzaimodejstvij mezhdu korkovymi nejronami. Podobie organizacii rasprostranyaetsya dazhe na specificheskie detali ustrojstva kory mozga. (White 1989, p. 179).
Tret'e soobrazhenie - evolyucionnyj argument. Rost kory polusharij, kotoryj pozvolil Homo Sapiens intellektual'no obognat' drugih zhivotnyh, zanyal otnositel'no korotkij period vremeni. |to znachit, chto evolyucionnoe obuchenie ne moglo vnedrit' ochen' mnogo informacii v eti otnositel'no novye korkovye struktury, dayushchie nam intellektual'noe preimushchestvo. |to dopolnitel'noe razvitie kory skoree stalo rezul'tatom izmenenij v ogranichennom chisle genov, reguliruyushchih ogranichennoe chislo parametrov kory.
|ti tri soobrazheniya podtverzhdayut tochku zreniya, chto kolichestvo nejrologicheskoj informacii, neobhodimoj dlya realizacii podhoda "snizu-vverh", dovol'no ogranichenno. (Ni odno iz etih soobrazhenij ne yavlyaetsya argumentom protiv togo, chto mozg vzroslogo cheloveka sostoit iz modulej. Oni tol'ko pokazyvayut, chto znachitel'naya chast' informacii, kotoraya poyavlyaetsya v etih modulyah, skoree proistekaet iz samoorganizacii i chuvstvennogo vospriyatiya, chem iz chrezvychajno slozhnoj geneticheskoj tablicy poiska.)
Neobhodimo dal'nejshee prodvizhenie v nejrologii, prezhde chem my budem sposobny postroit' II chelovecheskogo urovnya (ili hotya by vyshe zhivotnogo urovnya) isklyuchitel'no sredstvami etogo podhoda "snizu-vverh". Togda kak nejrologiya dejstvitel'no rezko prodvinulas' vper¸d za poslednie gody, trudno ocenit', skol'ko vremeni projd¸t, prezhde chem budet dostatochno izvestno ob ustrojstve mozga i ego algoritmah obucheniya, chtoby okazalos' vozmozhnym realizovat' ih na komp'yuterah dostatochnoj vychislitel'noj moshchnosti. Gruboe predpolozhenie: chto-to okolo pyatnadcati let. |to ne predskazanie o tom, kak blizko my nahodimsya k polnomu ponimaniyu vseh vazhnyh yavlenij v mozgu. |ta ocenka otnositsya k promezhutku, za kotoryj, mozhno bylo by ozhidat', my budem znat' dostatochno o bazovyh principah raboty mozga, chtoby byt' v sostoyanii voplotit' eti vychislitel'nye principy na komp'yutere, ne obyazatel'no modeliruya mozg hot' skol'ko-nibud' biologicheski realistichnym obrazom.
Nekotorym mozhet pokazat'sya, chto eta ocenka nedoocenivaet trudnosti, i vozmozhno eto tak. No davajte posmotrim, skol'ko proizoshlo v poslednie pyatnadcat' let. Do 1982 goda takaya disciplina kak komp'yuternaya nejrologiya edva li sushchestvovala. A budushchij progress budet idti ne tol'ko potomu chto issledovaniya segodnyashnim instrumentariem budut privodit' k novym znachitel'nym nahodkam, no i potomu chto stanut dostupny novye instrumenty dlya eksperimentov i novye metody. SHirokomasshtabnaya mnogoelektrodnaya zapis' dolzhna stat' vozmozhnoj v blizhajshem budushchem. Razrabatyvaetsya pryamoj interfejs mezhdu mozgom i chipom. Dlya nejrologov stanovyatsya dostupny bolee moshchnye apparatnye sredstva dlya vypolneniya modelirovaniya s bol'shim ob®¸mom vychislenij. Nejrofarmakologi razrabatyvayut preparaty s bolee vysokoj izbiratel'nost'yu, pozvolyaya issledovatelyam vyborochno vozdejstvovat' na opredel¸nnyj podtip receptorov. Sushchestvuyushchie tehniki skanirovaniya uluchshayutsya i razrabatyvayutsya novye. |tot spisok mozhet byt' prodolzhen. Vse eti innovacii dadut nejrologam novye ochen' moshchnye instrumenty, kotorye budut sodejstvovat' ih issledovaniyam.
V etom razdele obsuzhdalas' problema programmnogo obespecheniya. Byli vyskazany argumenty v pol'zu togo, chto ona mozhet byt' reshena podhodom "snizu-vverh" s ispol'zovaniem sushchestvuyushchego oborudovaniya dlya obespecheniya kanalov vhoda i vyhoda, a takzhe pri prodolzhenii izucheniya chelovecheskogo mozga, s cel'yu vyyasnit', kakie obuchayushchie algoritmy on ispol'zuet i kakova nachal'naya nejronnaya struktura novorozhd¸nnyh mladencev. Uchityvaya, kakimi ogromnymi shagami dvigaetsya komp'yuternaya nejrologiya v poslednee desyatiletie, i kakie instrumenty dlya eksperimentov nahodyatsya v processe razrabotki, kazhetsya razumnym predpolozhit', chto trebuemye nejrologicheskie znaniya mogut byt' polucheny v techenie desyati ili pyatnadcati let, t.e. do 2012 goda.
V semidesyatye i vos'midesyatye gody v oblasti II byl zastoj, t.k. preuvelichennye ozhidaniya dnej zarozhdeniya II ne stali real'nost'yu, i progress pochti ostanovilsya. Urok, kotoryj nuzhno iz etogo fakta izvlech' - ne to, chto II m¸rtv i mashiny s superintellektom nikogda ne budut postroeny. On lish' pokazyvaet, chto II bolee slozhnaya veshch', chem nekotorye iz pervyh pionerov mogli podumat', no eto ni koim obrazom ne govorit o tom, chto II navsegda ostanetsya neosushchestvimym.
V retrospektive my vidim, chto na toj stadii proekt II principial'no ne mog dostich' uspeha. Prosto apparatnye sredstva ne byli dostatochno moshchnymi. Pohozhe, dlya vypolneniya zadach chelovecheskogo urovnya trebuetsya po men'shej mere 100 Tops, i dazhe mozhet potrebovat'sya 10^17 ops. Komp'yutery zhe semidesyatyh imeli vychislitel'nuyu moshchnost', sravnimuyu s nasekomymi. Oni i dostigali primerno urovnya intellekta nasekomyh. Sejchas zhe, naprotiv, my mozhem predvidet' poyavlenie apparatnyh sredstv s proizvoditel'nost'yu chelovecheskogo urovnya, poetomu prichina proshlogo neuspeha II peresta¸t dejstvovat'.
Sushchestvuet takzhe ob®yasnenie otnositel'nogo otsutstviya zametnogo progressa na protyazhenii etogo perioda. Kak otmechaet Gans Moravek:
[F]
Na protyazhenii neskol'kih desyatiletij vychislitel'naya moshchnost', obnaruzhivaemaya v luchshih obrazcah II i robototehnicheskih sistemah, ostavalas' na urovne moshchnosti mozga nasekomyh - 1 MIPS. V to vremya kak vychislitel'naya moshchnost' iz rasch¸ta na odin dollar stremitel'no uvelichivalas' v techenie etogo perioda, dostupnoe kolichestvo deneg umen'shalos' stol' zhe bystro. Pervye dni II, v seredine 60-h, eta oblast' nakachivalas' shchedrymi oboronnymi subsidiyami po sledam Sputnika, chto davalo dostup k superkomp'yuteram togo vremeni stoimost'yu 10 mln. dollarov. V 70-h, posle V'etnamskoj vojny, finansirovanie sokratilos', i byli dostupny mashiny stoimost'yu lish' 1 mln. dollarov. K nachalu 80-h issledovanie II bylo vynuzhdeno ogranichivat'sya minikomp'yuterami stoimost'yu 100 tys. dollarov. V konce 80-h dostupnymi mashinami stali rabochie stancii za 10 tys. dollarov. K 90-m godam bol'shaya chast' raboty vypolnyalas' na personal'nyh komp'yuterah, stoyashchih lish' neskol'ko tysyach dollarov. S togo vremeni s uvelicheniem proizvoditel'nosti komp'yutera moshchnost' II i "mozgov" robotov vozrosla. K 1993 personal'nye komp'yutery obespechivali 10 MIPS, k 1995 - 30 MIPS, i v 1997 - bolee 100 MIPS. Mashiny "vdrug" stali chitat' tekst, raspoznavat' rech', a roboty pod sobstvennym upravleniem - peredvigat'sya po peresech¸nnoj mestnosti. (Moravec 1997)V obshchem, pohozhe, obnaruzhivaetsya vnov' obret¸nnyj optimizm i voodushevlenie sredi lyudej, rabotayushchih nad II, osobenno sredi teh, kto rabotaet v podhode "snizu vverh", takih kak issledovateli, zanimayushchihsya geneticheskimi algoritmami, nejromorfnym inzhiniringom, a takzhe apparatnymi sredstvami, realizuyushchimi nejronnye seti. Hotya mnogie eksperty i ostorozhny, chtoby vnov' ne past' zhertvoj nedoocenennyh trudnostej, kotorye eshch¸ vperedi.
Kogda II dostignet chelovecheskogo urovnya, nachn¸t dejstvovat' polozhitel'naya obratnaya svyaz', kotoraya dast eshch¸ bolee sil'nyj tolchok dal'nejshemu razvitiyu. Mashiny s II pomogut sozdavat' luchshie mashiny II, kotorye v svoyu ochered' pomogut stroit' eshch¸ luchshie, i t.d. Takzhe predel'naya poleznost' uluchshenij v etoj stadii, veroyatno, rezko by vyrosla, chto uvelichilo by finansirovanie. Sledovatel'no, my mozhem predskazat', chto kak tol'ko poyavitsya II chelovecheskogo urovnya, projd¸t nemnogo vremeni do togo momenta, kogda superintellekt okazhetsya tehnologicheski vozmozhnym.
Eshch¸ odin moment mozhno otmetit' v podtverzhdenie etogo predskazaniya. V otlichie ottogo, chto vozmozhno dlya biologicheskogo intellekta, budet vozmozhno kopirovat' navyki ili celye kognitivnye moduli iz odnogo II v drugoj. Esli odin II dostig vysot v nekotoroj oblasti, posleduyushchie II smogut zagruzit' programmu predshestvennika ili matricu vesov sinapticheskih svyazej i srazu zhe dostich' togo zhe urovnya proizvoditel'nosti. Ne budet neobhodimosti vnov' prohodit' process obucheniya. Budet li takzhe vozmozhnym kopirovat' luchshie chasti neskol'kih II i sovmeshchat' ih v odin, budet zaviset' ot osobennostej ispolneniya II i stepeni, do kotoroj II smogut byt' razbity na standartnye moduli. No kak obshchij princip, intellektual'nye dostizheniya II additivny tem sposobom, kakim chelovecheskie dostizheniya ne additivny, ili additivny vo mnogo men'shej stepeni.
Predpolozhim, superintellekt odnazhdy stanet tehnologicheski vozmozhnym. No zahotyat li lyudi ego postroit'? Na etot vopros mozhno dovol'no uverenno otvetit' utverditel'no. S kazhdym shagom na puti k superintellektu svyazany gromadnye ekonomicheskie vygody. Komp'yuternaya industriya investiruet ogromnye summy v sleduyushchee pokolenie mashin i programmnogo obespecheniya i budet prodolzhat' eto delat', poka sushchestvuet konkurentnyj press, i eto da¸t pribyli. Lyudi hotyat imet' luchshie komp'yutery i bolee umnoe programmnoe obespechenie, i oni hotyat poluchat' vygody, kotorye eti mashiny mogut pomoch' proizvodit'. Luchshie lekarstva, osvobozhdenie lyudej ot neobhodimosti vypolnyat' skuchnye i opasnye vidy raboty, razvlecheniya - net konca perechnyu vygod dlya potrebitelej. Sushchestvuet takzhe sil'nyj voennyj motiv v razrabotke II. I na etom puti nigde net kakoj-libo estestvennoj tochki ostanovki, gde tehnofoby, veroyatno, mogli by skazat' "do sih por, no ne dal'she".
Poetomu, po-vidimomu, sily, stoyashchie za uluchsheniem II vplot' do urovnya ekvivalentnosti cheloveku, legko preodoleyut lyuboe vozmozhnoe soprotivlenie. Kogda stavitsya vopros ob II chelovecheskogo urovnya ili vyshe, mozhno predpolozhit', chto na puti dal'nejshego razvitiya mogut okazat'sya znachitel'nye politicheskie sily. Superintellekt mozhet rassmatrivat'sya kak sozdayushchij ugrozu prevoshodstvu i dazhe vyzhivaniyu chelovecheskogo vida. Mozhem li my sootvetstvuyushchim programmirovaniem organizovat' motivacionnuyu sistemu superintellekta takim obrazom, chtoby garantirovat' poslushanie i podchinenie lyudyam - spornyj vopros. Esli politiki budushchego smogut byt' uvereny, chto II ne podvergnet opasnosti interesy cheloveka, razvitie II prodolzhitsya. Odnako, esli oni ne budut uvereny, chto opasnosti net, togda razvitie vs¸ ravno vpolne mozhet prodolzhit'sya. Kollektivnoe reshenie zapretit' novye issledovaniya v etoj oblasti ne smozhet byt' dostignuto i uspeshno voploshcheno - libo potomu, chto lyudi ne budut rassmatrivat' postepennoe zameshchenie biologicheskih lyudej iskusstvenno sozdannymi mashinami kak nechto obyazatel'no plohoe, libo iz-za dejstviya drugih moshchnyh sil - motivacii kratkosrochnymi pribylyami, lyubopytstva, ideologii, potrebnosti v vozmozhnostyah, kotorye superintellekt da¸t ego sozdatelyam.
V zavisimosti ot predpolagaemoj stepeni optimizacii, II chelovecheskogo urovnya, veroyatno, potrebuet ot 10^14 do 10^17 ops. Kazhetsya vpolne vozmozhnym, chto usovershenstvovannaya optimizaciya mogla by eshch¸ sokratit' eti cifry, no nachal'nyj uroven' byl by veroyatno ne men'she chem okolo 10^14 ops. Esli zakon Mura budet prodolzhat' vypolnyat'sya, nizhnyaya granica budet dostignuta gde-to mezhdu 2004 i 2008 godami, a verhnyaya - mezhdu 2015 i 2024. Proshlyj uspeh zakona Mura da¸t nekotorye induktivnye osnovaniya polagat', chto on budet prodolzhat' vypolnyat'sya eshch¸ okolo desyati-pyatnadcati let; i eto predskazanie podkreplyaetsya faktom, chto sushchestvuet ryad mnogoobeshchayushchih novyh tehnologij, nahodyashchihsya v dannyj moment v stadii razrabotki. Oni soderzhat ogromnyj potencial dlya uvelicheniya vychislitel'noj moshchnosti, kotoryj mozhno kupit' za te zhe den'gi. Ne sushchestvuet pryamyh osnovanij predpolagat', chto zakon Mura ne budet vypolnyat'sya bol'she, chem 15 let. Poetomu predstavlyaetsya veroyatnym, chto neobhodimye dlya II chelovecheskogo urovnya apparatnye sredstva budut sozdany v pervoj chetverti sleduyushchego stoletiya, vozmozhno v ego pervye neskol'ko let.
Sushchestvuet neskol'ko podhodov k razrabotke programmnogo obespecheniya dlya II. Odin iz nih - emulirovat' osnovnye principy biologicheskogo mozga. Ne kazhetsya nepravdopodobnym predpolozhenie, chto v predelah 15 let eti principy budut poznany dostatochno horosho, chtoby pri adekvatnyh apparatnyh sredstvah etot podhod priv¸l k uspehu.
Stagnaciya II v semidesyatyh i vos'midesyatyh godah ne imeet bol'shogo otnosheniya k veroyatnosti osushchestvleniya II v budushchem, t.k. nam izvestno, chto prichina, otvetstvennaya za etu stagnaciyu (a imenno - to, chto dostupnye dlya issledovatelej II apparatnye sredstva ostavalis' na urovne okolo 10^6 ops), bol'she ne dejstvuet.
Budet sil'nyj i vs¸ uvelichivayushchijsya pressing uluchshat' II vplot' do chelovecheskogo urovnya. Esli najd¸tsya sposob garantirovat', chto sverhchelovecheskij II budet podchinyat'sya lyudyam, to takoj intellekt budet sozdan. Esli net vozmozhnosti eto garantirovat', tem ne menee, veroyatno, on vs¸ ravno budet sozdan.
Bostrom N. 1996. "Cortical Integration: Possible Solutions to the Binding and Linking Problems in Perception, Reasoning and Long Term Memory". Forthcoming. Manu