29 Mayıs 2018 Salı

Yapay Zeka, Bilincimizi Tehdit mi Ediyor? Bölüm II

İşlevsiz bu kadar insanla ne yapacağımız 21. yüzyıl ekonomisinin en önemli sorusu hâline geldi. Bilinci olmayan ama alabildiğine yetenekli algoritmalar neredeyse her şeyi daha iyi idare etmeye başladığında, bilinç sahibi insanlar ne yapacak? Tarih boyunca insanlar üç temel sektörde istihdam edilmiştir: tarım, sanayi ve hizmet. 1800’lere kadar nüfusun ağırlıklı bir kısmı tarımda istihdam olurken, sanayi ve hizmet sektöründe yalnızca bir azınlık çalışıyordu. Sanayi Devrimi’yle beraber gelişmiş ülkelerde insanlar tarlalarını ve sürülerini bıraktı. Nüfusun çoğu sanayide çalışmaya başlarken gitgide daha fazla insan hizmet sektörüne kaydı. Geçtiğimiz yıllarda sanayi alanındaki bazı işler ortada  kalktıkça hizmet sektörünün hacmi arttı ve gelişmiş ülkeler bir devrim daha yaşadılar. 2010’da ABD nüfusunun yalnızca yüzde 2’si tarımda, yüzde 20’si sanayide çalışırken yüzde 78’iyse hizmet sektöründe çalışıyor doktorluk, öğretmenlik, tasarımcılık gibi meslekler icra ediyordu. Algoritmalar insanlardan daha iyi teşhis etmeye, öğretmeye ve tasarlamaya başladığında ne yapacağız? Hiç de yeni sayılmayacak bu soru, Sanayi Devrimi’nden beri makineleşme nedeniyle kitleler hâlinde işsiz kalmaktan korkan insanların kafasını kurcalıyor. Bazı meslekler zamanla ölürken yerine yenileri doğdu ama bugüne kadar insanların makinelerden daha iyi yapabildiği şeyler her zaman vardı. Neticede bu doğanın bir kanunu değil ve bu düzenin gelecekte de devam edeceğine dair hiçbir bilgiye sahip değiliz, insanlar fiziksel ve bilişsel olmak üzere iki temel yeteneğe sahiptin Makineler bizimle yalnızca fiziksel yeteneklerini yarıştırsaydı, her zaman daha iyi yapabileceğimiz bilişsel işler yaratabildik. Böylece makineler kol gücü gerektiren işleri tamamen üstlenirken insanlar da bilişsel yetenek isteyen alanları kapatırdı. Peki algoritmalar bilişsel işleri bizden daha iyi yapıp daha iyi hatırladığında, analiz edebildiğinde ve örüntüleri tanıyabildiğinde ne olacak? Bilinci olmayan algoritmaların asla erişemeyeceği, kendi türümüze has bir yeteneği koruyabileceğimize inanmak hayal dünyasında yaşamaktan başka bir şey değil. Bu hayali yıkacak bilimsel cevapları üç maddede özetleyebiliriz.
1. Organizmalar birer algoritmadır. Her hayvan, Homo sapiens de dahil olmak üzere, milyonlarca yıllık bir evrim sürecinde şekillenmiş organik algoritmaların bir araya gelmesiyle oluşur.
2. Algoritmik hesaplar, hesaplamayı yaptığımız aletin malzemesinden etkilenmez. Tahta, metal ya da plastik fark etmez; bir abaküste iki boncuk iki boncuk daha her zaman dört boncuk edecektir.
3. Bu nedenle organik olmayan algoritmaların, organik benzerlerini asla taklit edemeyeceklerini, hatta onları geçemeyeceklerini iddia etmek için ortada hiçbir sebep yoktur. Hesaplar tuttuğu sürece algoritma karbon ya da silikonmuş ne fark eder? Bugün organik algoritmaların, organik olmayan algoritmalardan daha iyi yapabildiği şeyler vardır, doğru. Uzmanların, organik olmayan algoritmaların “asla” erişmeyeceği ancak insanların uzmanlaşabileceği alanların varlığını koruyacağını belirttikleri de doğrudur. Ancak görünen o ki “asla” lafı belki de otuz yıla anlamını yitirecek. Kısa zaman öncesine kadar yüz tanımanın bebeklerin bile yapabildiği ama yeryüzündeki en gelişmiş bilgisayarların beceremediği bir işlem olması, karşılaştırmalarda verilen en popüler örnekti. Bugün yüz tanıma programları, çehreleri insanlardan çok daha hızlı ve etkin ayırabiliyor. Polis güçleri ve istihbarat servisleri şüpheli ve suçluları takip etmek amacıyla yüzlerce saatlik güvenlik kamerası görüntülerini tararken buna benzer programlar kullanıyor.
1980’lerde insanlığın kendine has doğası tartışılırken insanın koşulsuz üstünlüğüne en iyi örnek olarak satranç gösterilir ve bilgisayarların bir insanı asla yenemeyeceği düşünülürdü. 10 Şubat 1996’da IBM’in Deep Blue isimli bilgisayarı dünya satranç şampiyonu Garry Kasparov’u alt ederek insanın üstünlüğü iddiasını tarihe gömdü. Deep Blue oyuna bir adım önde başlamıştı, çünkü yazılımcılar satrancın yalnızca temel kurallarını değil stratejiyle ilgili talimatları da Deep Blue’ya aktarmıştı. Yeni nesil yapay zeka programlarıysa insan tavsiyeleri yerine makine öğrenimini tercih ediyor. 2015’in Şubat ayında Google tarafından geliştirilen DeepMind isimli program kendi kendine kırk dokuz klasik Atari oyununu oynamayı öğrendi. Yazılımcılarından Dr. Demiş Hassabis çalışmalarını, “sisteme verdiğimiz tek bilgi piksellerin yapısal özelliklerinden ve yüksek puan alması gerektiği fikrinden ibaretti,” diyerek özetlemişti. Program, Pac-Man’den Space Invaders’a, araba yarışlarından tenis oyunlarına kadar tüm oyunların kurallarını öğrenmeyi başardı. Çoğu oyunu insanlardan daha iyi oynadığı gibi insan oyuncuların aklına hiç gelmeyen stratejiler de geliştirdi. Bu inanılmaz başarıdan kısa süre sonra yine Google tarafından üretilen AlphaGo yazılımı, kendi kendine Go oynamayı öğrendi. Antik Çin’de bir strateji oyunu olarak gelişen Go, satrançtan katbekat daha karmaşıktır ve yapay zeka programlarının yanına bile yaklaşamayacağı bir hedef olarak görülüyordu.
2016’nın Mart ayında AlphaGo ve Güney Kore Go şampiyonu Lee Sedol, Seul’de karşılaştı. AlphaGo rakibi Lee’yi 4-1 gibi ezici bir üstünlükle yenmekle kalmadı, görülmemiş hareketler ve özgün stratejiler kullanarak ustaları hayrete düşürdü. Karşılaşmadan önce Lee’nin galibiyetinden şüphe duymayan profesyonel Go oyuncuların çoğu, AlphaGo’nun oyununu gördükten sonra pes ederek, bu program ve gelecekteki üst sürüm nesilleri karşısında insanların hiçbir şansı olmadığına ikna oldular.
Bilgisayar algoritmaları son zamanlarda top oyunlarında da rüştünü ispatladı. Beyzbol takımları oyuncu seçerken yıllar yılı profesyonel yetenek avcılarının ve menajerlerin aklına ve deneyimine güvendi. En iyi oyuncular milyon dolarlar kazandıkça zengin takımlar iyinin de iyisini seçebilirken yoksul takımlar geriye kalanlarla yetinmek zorunda kalıyordu. 2002’de düşük bütçeli Oakland Athletics takımının menajeri Billy Beane bu sistemi alt etmeye karar verdi. Ekonomistler ve bilgisayar mühendisleri tarafından üretilmiş gizemli bir bilgisayar algoritmasıyla yetenek avcılarının gözünden kaçan ve kıymeti bilinmeyen oyunculardan, kazanan birtakım yarattı. Ligin ağır topları Beane’in algoritmasının beyzbolun kutsal kapılarından vizesiz geçmesine öfkelenerek son derece rahatsız oldu. Beyzbol oyuncusu seçmek yalnızca tecrübe ve derin bir içgörü sahibi olan insanların icra edebileceği bir sanattı. Bu sanatı beyzbolun ruhunu ve sırlarını çözemeyecek bir bilgisayar programı icra edemezdi. Tahmin edileceği gibi bu ağır toplar kısa sürede saçlarını başlarını yolmaya başladılar. Beane’in mütevazı bütçeli algoritmik takımı (44 milyon dolar) New York Yankees gibi beyzbol devlerinin karşısına dimdik çıkmayı başardığı gibi ligde art arda yirmi maç kazanan ilk takım oldu. Maalesef Beane ve Oakland başarılarının keyfini süremedi. Pek çok beyzbol takımı benzer bir algoritmik yöntemden faydalandı. Yankees ve Red Sox gibi takımlar beyzbol oyuncularına ve bilgisayar yazılımlarına kat be kat daha fazla yatırım yapabildiğinden Oakland Athletics gibi düşük bütçeli takımların sistemi yenmek için artık neredeyse hiç şansı kalmadı. 2004’te MIT’den Profesör Frank Levy ve Harvard’dan Profesör Richard Murnane, yerini otomasyona bırakacak olası meslekleri listeledikleri eksiksiz bir çalışma yayınladılar. Yakın gelecekte makineler tarafından yapılması ihtimal dahilinde olmayan işler arasında tır sürücülüğü de yer alıyordu. Algoritmaların işlek yollarda güvenle tır sürebildiğini hayal etmek pek mümkün değil, diye yazmışlardı. On yıl kadar kısa sürede, Google ve Tesla bunu hayata geçirdi bile. Zaman geçtikçe insanların yerine bilgisayarları geçirmek daha da kolaylaşıyor ancak bunun tek nedeni bilgisayarların hızla akıllanması değil uzmanlaşma problemidir. Avcı-toplayıcı bir robot tasarlamak son derece zor olurdu çünkü geçmişte avcı-toplayıcılar hayatta kalabilmek için sayısız farklı beceriyi öğrenmek zorundaydı. Böyle bir robotun taşlardan mızrak uçları hazırlayabilmesi, ormanda yenilebilir mantarları ayırabilmesi, yaraları sarmak için tıbbi bitkileri kullanabilmesi, bir mamutun izini sürebilmesi ve sürekli onlarca farklı avcıyla irtibat hâlinde kalabilmesi gerekirdi. Ancak birkaç bin yıldır insanlar gittikçe uzmanlaşıyor. Bir taksi şoförü ya da kardiyolog, avcı-toplayıcı atalarına
kıyasla çok daha kısıtlı bir alanda özelleşiyor bu sebeple yerlerini yapay zekaya bırakmaları daha kolay hâle geliyor. Tekrar tekrar vurguladığım gibi yapay zeka hiçbir açıdan insansı bir varlık olmaya yakın değil. Ancak insan özelliklerinin ve yeteneklerinin yüzde 99’u pek çok modern iş için lüzumsuz fazlalıklardan ibaret. Yapay zekaların bizi işgücü piyasasından atabilmesi için mesleki ihtiyacı karşılayacak yeteneklerinin bizden üstün hâle gelmesi yetecek hatta artacaktır. En büyük sorumlulukları omuzlayan yöneticiler bile artık yerlerinden olabilir. Uber adındaki araç bulma programı sayesinde milyonlarca taksi şoförünü bir avuç insan yönetebiliyor. Pek çok talimat hiçbir insan denetimine ihtiyaç duyulmadan algoritmalar tarafından veriliyor.2014’ün Mayıs ayında rejeneratif tıp alanında uzmanlaşan Hong Kong merkezli girişim şirketi Deep Knowledge Ventures, VITAL isimli algoritmayı yönetim kuruluna dahil ederek bir ilke imza attı. VITAL umut vaat eden şirketlerin finansal durumlarını, klinik çalışmaları
ve fikri mülkiyet haklarını gösteren verileri inceleyerek yatırım önerilerinde bulunmaya başladı. Kurulun diğer beş üyesi gibi algoritma da bir şirkete yatırım kararı alınırken oy hakkına sahip oldu.
VITAL’ın bir yönetim kusuru bulunduğunu söylemek mümkün: İltimas. VITAL’ın algoritmalara ağırlık veren şirketlere yatırım yapılmasını önermesi nedeniyle Deep Knowledge Ventures da kendi gibi algoritmalara yatırım yapan Pathway Pharmaceuticals şirketine yatırım yaptı. Pathway Pharmaceuticals en yenilikçi kanser tedavilerini seçen ve değerlendiren OncoFinder adında bir algoritma kullanan yenilikçi tıp şirketlerinden biriydi. Algoritmalar insanları çalışma hayatının dışına iterken, varlık ve güç, algoritmaları avucunda tutan bir grup elitin elinde toplanarak görülmemiş bir sosyal ve siyasi eşitsizlik doğurabilir. Bugün milyonlarca taksici, otobüs ve kamyon sürücüsü ulaşım pazarının küçük bir payını kontrol eden ciddi bir ekonomik ve siyasi nüfuza sahipler. Eğer çıkarları tehlikeye düşerse sendikalaşarak greve gidebilir, boykot edebilip oy toplayabilirler. Ancak milyonlarca şoförün yerine tek bir algoritma geçtiğinde, tüm bu varlık ve güç algoritmaya sahip olan şirketin ve şirket sahibi milyarderlerin elinde toplanacaktır. Bir başka ihtimal de algoritmaların kendilerinin sahibi olmasıdır. Bugün yasalar, şirketler ve milletler gibi öznelerarası varlıkları “tüzel kişilikler” olarak kabul ediyor. Toyota yada Arjantin bir bedene ya da zihne sahip olmasa da uluslararası yasalara tabidir, toprak ya da para sahibi olabilir, mahkemelerde dava açabilir ve dava edilebilirler. Yakında algoritmaları da benzer bir konuma yerleştirebiliriz. Böylece bir algoritma da insan efendinin isteklerine boyun eğmeden bir ulaşım ağı imparatorluğuna ya da girişim sermayesi fonlarına sahip olabilir. Algoritma doğru kararlar vermeyi başarırsa bir servet kazanarak dilediğine yatırım yapabilir, mesela bir ev alarak ev sahibiniz olabilir. Algoritmanın yasal haklarını, örneğin kiranızı ödemeyerek ihlal ettiğinizde, avukat tutup sizi dava edebilir. Böylesi algoritmalar insan
kapasitesini geride bırakmayı başarırsa gezegenin çoğunu satın almış algoritmik bir üst sınıf ortaya çıkabilir. İmkansız görünen bu fikri bir kenara atmadan önce, gezegenimizin ciddi bir kısmının hukuki olarak şirketler ve milletler gibi öznelerarası varlıkların mülkiyetinde olduğunu unutmayın, tıpkı beş bin yıl kadar önce Sümer’in tüm varlıklarının hayali tanrılar Enki ve İnanna’nın elinde olması gibi. Eğer tanrılar toprakları sahiplenebiliyorsa algoritmalar neden yapamasın?
Peki insanlar ne yapacak? Sanat sıklıkla nihai kutsal sığınağımızdır. Bilgisayarların doktorları, şoförleri, öğretmenleri, hatta mülk sahiplerini yerinden ettiği bir dünyada herkes sanatçıya dönüşecektir. Ne var ki sanatsal üretimin algoritmalardan uzak ve güvende olacağına dair gösterilebilecek geçerli bir neden yok. Bilgisayarların bizim kadar iyi beste yapamayacağından nasıl bu kadar emin olabiliriz? Yaşambilimlerine göre sanat büyülü bir ruhun ya da metafiziksel tinin bir ürünü değil de organik algoritmaların matematiksel örüntüleri tanımasının bir sonucuysa, organik olmayan algoritmaların bu konuda ustalaşamaması için hiçbir sebep yok.
California Santa Cruz Üniversitesinde müzikoloji profesörü David Cope konçertolar koraller senfoniler ve operalar besteleyebilen bilgisayar programları geliştirerek klasik müzik dünyasındaki tartışmalı isimlerden biri olarak ünlendi. EMI adındaki ilk yazılımı Johann Sebastian Bach’ı taklit etmekte uzmanlaşmıştı. Yedi yılda geliştirilen EMI tamamlandığında bir gün içinde beş bin Bach korali besteleyebildi. Cope daha sonra Santa Cruz’daki bir müzik festivalinde bu korallerden derlediği bir seçkiyi dinleyicilerle buluşturdu. Dinlediklerinin Bach
olmadığından habersiz, heyecan içindeki dinleyiciler bu mükemmel gösteriyi öve öve bitiremezken müziğin ne kadar dokunaklı olduğundan bahsettiler. Dinlediklerinin Bach değil EMI besteleri olduğunu öğrendiklerindeyse kimileri sessizliğe gömülürken, kimileri öfkeyle bağırdı. Buna rağmen EMI gelişmeye devam etti ve Beethoven, Chopin, Rahmaninov ve Stravinski’yi taklit etmeyi öğrendi. EMI için bir sözleşme yapmayı başaran Cope’un, Bilgisayar Tarafından Bestelenmiş Klasik Müzik Eserleri adı altında piyasaya sürdüğü ilk albüm oldukça iyi bir satış rakamına ulaştı. Tanıtımların artmasıyla beraber klasik müzik müdavimlerinin öfkesi de büyüyordu. Oregon Üniversitesi’nden Profesör Steve Larson, meseleyi müzikal bir karşılaşmada Cope’a meydan okumaya kadar vardırdı: Larson, profesyonel piyanistlerin Bach, EMI ve kendi bestelerinden biri olmak üzere üç besteyi art arda çalmasını, dinleyicilerin de bestelerin sahiplerini tahmin etmesini teklif etti. Larson bir insanın ruh dolu bestesiyle bir makinenin cansız yaratımının arasındaki farkı ayırmanın bir insan için hiç de zor olmayacağından emindi. Cope’un mücadeleyi kabul etmesi üzerine yüzlerce akademisyen, öğrenci ve müzik tutkunu belirlenen günde Oregon Üniversitesi’nin konser salonunda toplandı. Konserin sonunda oylama yapıldı. Sonuçlar mı? Dinleyicinin nezdinde EMI’nın parçası gerçek bir Bach eseri, Bach’ınki Larson’ın bestesi ve Larson’ın yapıtıysa bir bilgisayarın üretimi olmalıydı. Eleştirmenler EMI’nın teknik olarak kusursuz olduğunu ancak bir şeylerin eksik olduğunu öne sürdüler. Her şey çok net ve doğruydu, derinliği eksik, ruhu yoktu. Ne var ki insanlar kaynağını bilmeden EMI’nın bestelerini dinlediklerinde bestelerin duygusal yansımalarını övmeye devam ettiler.
EMI’nın başarısını takiben Cope daha karmaşık programlar geliştirdi. En parlak başarısı Annie oldu. EMI önceden belirlenmiş kuradarla beste yaparken Annie makine öğrenimi kullanıyordu. Müzik tarzı aldığı geribildirimlerle sürekli değişebiliyor ve gelişebiliyordu. Cope aslında Annie’nin metin üretebileceğini hayal bile etmemişti ancak kendini bestelerle sınırlamak istemeyen Annie, haiku şiirleri gibi başka alanları de keşfe çıktı. 2011’de Cope, Comes the Fiery Night: 2,000 Haiku by Man and Machine [Gelir Ateşten Gece: İnsan ve Makineden 2000 Haiku] başlığıyla hangilerinin organik şairler, hangilerinin Annie’ye ait olduğunu belirtmeden 2000 haiku yayımladı. İnsan yaratıcılığıyla makine üretiminin arasındaki farkı anlayabileceğinize inanıyorsanız, iddianızı dilediğiniz gibi sınayabilirsiniz.18 Sanayi Devrimi 19. yüzyılda devasa bir şehirli proletarya yarattı. Yeni işçi sınıfının benzeri görülmemiş ihtiyaçları, umutları ve korkuları karşısında kimse bir çözüm bulamadıkça sosyalizm yayıldı. Liberalizm sosyalist planların en iyi yanlarını alarak sonunda sosyalizmi yenilgiye uğratmayı başardı. 21. yüzyılda bizde yeni ve devasa bir işsiz sınıfının doğuşuna tanık olabiliriz. Bu sınıf ekonomik, siyasi, hatta sanatsal üretimde herhangi bir rolü olmayan, toplumun refahına,gücüne ve şanına hiçbir katkı sunamayacak insanlardan oluşacak. Bu “işe yaramaz sınıf” işsiz olmakla kalmayacak, istihdam edilemez de olacak. 2013’ün Eylül ayında Oxford’da, Cari Benedikt Frey ve Michael A. Osborne adındaki iki araştırmacı, The Future of Employment [İstihdamın Geleceği] adlı bir çalışma yayınladılar. Çalışma, gelecekteki yirmi yıl içinde bilgisayar algoritmaları tarafından devralınacak muhtemel meslekleri inceliyordu. Frey ve Osborne tarafından geliştirilen algoritma, ABD’deki mesleklerin yüzde 47’sinin yüksek riskli olduğunu hesapladı, örneğin2033’te insanlar yüzde 99 ihtimalle telepazarlama ve sigortacılık işlerini algoritmalara kaptıracak. Aynı durum hakemlerin yüzde 98’inin, kasiyerlerin yüzde 97’sinin, şeflerin yüzde 96’sının, garsonların ve avukat asistanlarının yüzde 94’ünün, tur rehberlerinin yüzde 91’inin, fırıncıların ve otobüs sürücülerinin yüzde 89’unun, inşaat işçilerinin yüzde 88’inin, veteriner yardımcılarının yüzde 86’sının, güvenlik görevlilerinin yüzde 84’ünün, denizcilerin yüzde 83’ünün, barmenlerin
yüzde 77’sinin, arşivcilerin yüzde 76’sının, marangozların yüzde 72’sinin, cankurtaranların yüzde 67’sinin ve daha birçoklarının başına gelecek. Bazı güvende meslekler de olacak tabii. Bilgisayar algoritmalarının, 2033 itibarıyla arkeologların yerine geçme ihtimali yalnızca yüzde 0.7 çünkü çok kâr getirmeyen bu iş, çok karmaşık konularda yetkinlik ve örüntüleri tanıma becerisi gerektiriyor Bu yüzden şirketler ya da hükümetlerin, önümüzdeki yirmi yılda arkeolojiyi makineleştirme ihtimali çok düşük. 2033’te pek çok yeni meslek de türeyebilir tabii, örneğin sanal dünya tasarımcıları. Sıradan işinizden çok daha fazla yaratıcılık ve esneklik gerektirecek bu yeni işler düşünüldüğünde, önümüzdeki kırk yılda kasiyerlerin ya da sigortacıların kendilerini sanal dünya tasarımcısı olarak yeniden yaratıp yaratamayacağını kestirmek oldukça zor (Bir sigortacı tarafından yaratılmış sanal bir dünya hayal etsenize!) Yapabilseler bile, değişim bu hızda devam ettikçe her on yılda bir kendilerini baştan yaratmaları gerekecektir Sonuçta algoritmalar sanal dünyaları da insanlardan daha iyi tasarlayabilir Bu nedenle aslında yeni meslekler türetebilmekten çok, bu meslekleri icra eden insanların algoritmalardan daha iyi olabilmesini sağlamakta zorlanacağız. Bu beklenmedik teknolojik bolluk içinde hiç çaba göstermeseler bile işe yaramayan kitleleri beslemek ve desteklemek mümkün olacaktır Peki hepsini nasıl meşgul edip memnun edeceğiz? İnsanlar bir şey yapmazlarsa delirirler Tüm gün ne yapacaklar? Sunulan çözümlerden biri uyuşturucu ve bilgisayar oyunları olabilir. Amaçsız ve ihtiyaç duyulmayan insanlar zamanlarının gitgide daha büyük bir kısmını dışarıdaki donuk gerçeklikten daha heyecanlı ve duygusal bağlar kurmalarını sağlayan üç boyutlu sanal gerçeklik dünyalarında geçirebilir. Böylesi bir gelişme, liberalizmin insan hayatının ve deneyiminin kutsallığına duyduğu inancın şahdamarına son darbe gibi inecektir Günlerini La La Land’de sanal deneyimlerle harcayan bu işe yaramayan başıboş aylakların nesi kutsal olabilir? Nick Bostrom’un da aralarında olduğu bazı uzman ve düşünürler, yapay zeka insan zekasını geçtiğinde insan türünü zaten yok edeceğinden insanevladının bahsi geçen düşüşü yaşamayacağı konusunda uyarıda bulunuyor. Yapay zeka ya insan türünün kendisine düşman kesilerek fişini çekeceği korkusuyla ya da bambaşka akıl ermez bir amaç uğruna bunu yapabilecektir. İnsanlar açısından da kendilerinden akıllı bir sistemin isteklerini kontrol etmek oldukça zor olacaktır.
Sistemi görünüşte iyi amaçlarla programlamak bile tahmin edilemeyecek kadar ters tepebilir. Popüler bir senaryoda, ilk süper yapay zekayı tasarlayan şirket, programı pi sayısını hesaplamak gibi masum bir teste tabi tutar. Kimse daha ne olduğunu anlamadan, yapay zeka gezegeni ele geçirir, insan ırkını ortadan kaldırıp galaksinin dört bir köşesine işgal seferleri düzenler, bilinen tüm evreni süper bir bilgisayara dönüştürür ki milyarlarca yıl boyunca pi sayısını daha doğru hesaplamaya devam edebilsin. Sonuçta Yaratıcısının kendisine verdiği ilahi görev budur.

Yapay Zeka, Bilincimizi Tehdit mi Ediyor? Bölüm I

Bazı ekonomistler gelişmemiş insanların er ya da geç tamamen hurdaya çıkacağını öngörüyor. Robotlar ve üç boyutlu yazıcılar gömlek üretimi gibi kol gücüyle yapılan işlerde işçileri yerinden ederken, üstün zekalı algoritmalar da beyaz yakalı çalışanların pozisyonlarını dolduracak. Kısa süre öncesine kadar otomasyon tehlikesinden korunabilen banka memurluğu ve turizm temsilciliği gibi meslek grupları artık nesli tehdit altında olan türler. Uçak biletlerimizi akıllı telefonlarımızdaki algoritmalarla satın alırken kaç turizm temsilcisine ihtiyaç duyuyoruz artık? Borsacılar da tehlike altında. Pek çok alım ve satım işlemi, bir insanın bir yılda inceleyebileceği veriyi saniyeler içinde işleyebilen ve göz açıp kapayıncaya kadar tepki verebilen bilgisayarlar tarafından yürütülüyor. 23 Nisan 2013’te Suriyeli hackerlar Associated Press’in (AP) resmi Twitter hesabını ele geçirerek, saat 13.07’de Beyaz Saray’ın saldırıya uğradığını ve Başkan Obama’nın “yaralandığını” yazdı. Haberleri denetleyen işlem algoritmaları duruma anında tepki verdi ve çılgınca hisse satmaya başladı. ABD’nin önemli borsa endeksi Dow Jones serbest düşüşe geçerek altmış saniye içinde yüz elli puan birden düştü ve 136 milyar dolar değer kaybetti! Saat 13.10’da Associated Press atılan tweetin sahte olduğunu doğruladı. Algoritmalar dişlileri ters yöne çevirdi ve saat 13.13 itibarıyla Dow Jones neredeyse tüm kayıplarını geri kazandı. Bu olaydan üç yıl kadar önce, 6 Mayıs 2010’da New York borsası daha büyük bir şok dalgası yaşadı. 14.42 ile 14.47 arasındaki beş dakikada Dow Jones bin puan birden düşerek çöktü ve bir trilyon dolar buharlaşıp yok oldu. Takip eden üç dakika içinde tekrar çıkış yaparak çöküş öncesi seviyelerine döndü. Paramızın kontrolünü süperhızlı makinelere teslim ettiğimizde başımıza bunlar gelebiliyor. Uzmanlar hâlâ “Flash Crash” [Ani Çöküş] adını verdikleri olayın ne olduğunu anlamaya çalışıyorlar. Sorunun algoritmalarda olduğunu biliyoruz ama neyin ters gittiğinden emin değiliz. ABD’de bazı borsacılar algoritmik işlemlerin insan karşısında adaletsiz bir hız avantajına sahip olduğunu, bu yüzden de haksız rekabet yarattığını öne sürerek mahkemeye başvurdular bile. Algoritmik işlemlerin herhangi bir hak ihlali yapıp yapmadığını araştırmak gibi deliye pösteki saydıracak türden bir iş, avukatlara fazla mesai ve yüklü danışma ücretleri olarak geri dönecektir tabii.Öte yandan bahsi geçen avukatlar da insan olmak zorunda değiller. Filmler ve diziler avukatların günlerini mahkeme salonlarında “İtiraz ediyorum!” diye bağırıp etkileyici nutuklar atarak geçirdiği izlenimini yaratır. Halbuki çoğu avukat vaktinin ciddi bir kısmını bitmek bilmeyen dosyaların arasında, emsaller ve yasalarda boşluklar arayarak ya da ufacık bir delilin peşinde koşarak geçirir. Kimileri kimliği belirsiz maktullerin öldüğü gece neler olduğunu çözmeye çalışırken, kimileri de müvekkillerini akla gelebilecek her türlü durumdan koruyabilecek devasa sözleşmeler hazırlar. Karmaşık algoritmalar bir insanın ömrü hayatında derleyebileceği emsalleri bir günde toplayabildiği ya da beyin taramaları tüm yalanları tek bir tuşla ortaya çıkarabildiği zaman bu avukatlara ne olacak? Deneyimli avukatlar ve dedektifler bile insanların yalanlarını yüz ifadelerinden ya da ses tonlarından hemen anlayamaz. Yalan söylemek beyinde doğruyu söylediğimiz zaman çalışan bölgelerden farklı alanları kullanmamıza neden olur. Henüz bu noktaya varmış olmasak da yakın bir gelecekte fMRI taramaları hatasız yalan makineleri gibi işleyebilir. O zaman milyonlarca avukat, hakim, polis ve dedektife ne olacak? Belki de okullara geri dönüp yeni meslekler edinmeleri gerekecek.Yeni eğitim hayatlarına başlamak için sınıfa girdiklerindeyse algoritmaların yine kendilerinden bir adım önde olduğunu görecekler Mindojo gibi şirketler matematik, fizik ve tarih öğretmekle kalmayıp bir yandan da kullanıcıyı inceleyerek tam olarak kim olduğunu öğrenebilen interaktif algoritmalar geliştiriyor. Dijital öğretmenler verdiğim her cevabı ve ne kadar sürede verdiğimi değerlendiriyor Zamanla kendime has zayıflıklarımla beraber güçlü yanlarımı da keşfediyor. Beni neyin heyecanlandırdığını, ne zaman derste gözlerimin kapandığını belirleyebiliyor. Termodinamik ve geometriyi, diğer öğrencilerin yüzde 99’una uymasa bile benim seviyeme özel yöntemlerle öğretiyor. Sabrını kaybetmediği için asla öğrenciye bağırmayan dijital öğretmenler greve de gitmiyor Bu kadar zeki bilgisayar programlarının olduğu bir dünyada neden termodinamik ve geometri öğrenmeye ihtiyaç duyarım, orası da meçhul tabii. Doktorlar bile algoritmaların açık hedefi hâline gelmiş durumda. Doktorların ilk görevleri doğru teşhis koymak ve ardından en uygun tedaviyi önermektir. Yüksek ateş ve ishal besin zehirlenmesinin işareti olabileceği gibi mide virüsü, kolera, dizanteri, sıtma, kanser ya da bilinmeyen yeni bir hastalığın habercisi de olabilir. Doktorumun doğru teşhis koyabilmek için birkaç soru sorabileceği ve üstünkörü bir genel muayeneden fazlasını sunamayacağı beş dakikası vardır çünkü sağlık sigortam ancak bu kadarına imkan sağlar. Daha sonra doktor benden aldığı azıcık bilgiyi kişisel hastalık geçmişim ve dünyadaki sayısız illetle karşılaştırın Ne var ki en titiz doktor bile geçmişteki tüm rahatsızlıklarımı ve kontrollerimi hatırlayamayacağı gibi her hastalık ve ilacı tanıyamaz, tıp dergilerinde yayımlanmış her akademik makaleyi okumaya vakit bulamaz. Yetmezmiş gibi doktorlar da zaman zaman yorgun, aç, hatta hasta olabilirler ve bu nedenle değerlendirme süreçleri etkilenebilir. Teşhislerinde sık sık yanılan, en uygun tedaviyi öneremeyen doktorların varlığına şaşmamak gerek. Şimdi de 2011’de riziko adındaki televizyon yarışmasının tüm şampiyonlarını yenen IBM’in ünlü yapay zeka sistemi Watson’ı ele alalım. Watson bugünlerde hastalık teşhisleri gibi ciddi bir konuyla ilgileniyor. Watson gibi bir yapay zeka, doktorlar karşısında muazzam avantajlara sahiptir, öncelikle bir yapay zeka tıp tarihinde bilinen her türlü hastalığa dair bilgiyi veritabanında saklayabilir. Veritabanını her gün yeni araştırmaların sonuçlarının yanı sıra dünyadaki her hastane ve klinikte toplanan tıbbi istatistiklere göre güncelleyebilir. İkinci olarak Watson benim tüm genom haritamı ve günbegün tıbbi bilgilerimi kaydedebileceği gibi ebeveynlerimin, kardeşlerimin, kuzenlerimin, komşularımın ve arkadaşlarımınkileri de yakından takip edebilir. Watson yakın zamanda tropik bir ülkeye mi gittim, tekrarlayan mide enfeksiyonları mı yaşıyorum, ailemde bağırsak kanseri geçmişi var mı ya da şehirdeki herkes o sabah ishal şikayetiyle mi geldi, anında bilebilir. Üçüncü olarak Watson asla yorulmadığı, acıkmadığı ya da hastalanmadığı gibi bana bolca zaman ayırabilir. Salonumdaki koltuğumda otururken yüzlerce soruya cevap vererek Watson’a nasıl hissettiğimi anlatabilirim. Bu durum hastalık hastası hipokondriyaklar dışında çoğu hasta için mükemmel bir gelişme sayılabilir. Bugün mezuniyetinizden yirmi yıl sonra hâlâ aile doktoru olabileceğiniz beklentisi içinde tıp fakültesine gidiyorsanız belki de tekrar düşünmeniz iyi olabilir; boynuzun kulağı geçeceği aşikar. Watson gibileri etrafta olduğu sürece, Sherlocklara ihtiyaç kalmayacak gibi duruyor. Bu tehlike sadece pratisyen hekimlerin değil uzmanların da ensesinde artık, öyle ki kanser gibi görece spesifik bir konuda uzmanlaşan doktorları yerinden etmek belki de çok daha kolay olacak. Yakın zamanda yürütülmüş bir deneydeki bilgisayar algoritması, akciğer kanseri vakalarından yüzde 90’ını doğru teşhis ederken doktorların başarı oranı yüzde 50’lerde kaldı. Gelecek çoktan kapımıza dayanmış durumda. Akciğer tomografisi ve mamografi gibi teknolojiler standart algoritmalar tarafından kontrol edilerek doktorlara ikinci bir fikir sunuyor, zaman zaman doktorların kaçırdığı tümörleri yakalayabiliyor. Watson ve benzerleri, bir sürü teknik aksaklık yüzünden henüz doktorları bir gecede işlerinden edemiyor Ancak zor olsa da bu teknik sorunlar elbet bir gün çözülecek. Bir doktoru eğitmek yıllar alan karmaşık ve pahalı bir süreçtir. On yıl eğitim ve asistanlığın ardından elinizde sadece tek bir doktor olur. İkinci bir doktor için aynı süreci baştan tekrarlamanız gerekir. Halbuki Watson’a ket vuran teknik aksaklıkları çözdüğünüzde, dünyanın her köşesinde yedi gün yirmi dört saat erişilebilir sayısız doktorunuz olabilir. Toplam maliyet yüzlerce milyar dolara çıkacak olsa da bu yatırım uzun vadede insan doktorları eğitmekten çok daha ucuza gelecektir. Tabii tüm bunlar doktorların ortadan kalkacağı anlamına gelmez. Yakın gelecekte insanlar, sıradan teşhisler koymaktan çok yaratıcılık gerektiren işleri ellerinde tutmaya devam edecekler. Tıpkı 21. yüzyıl ordularının elit özel harekat güçlerine devşirilmesi gibi gelecekteki sağlık hizmetleri de tıbbi özel harekat timlerine yer açmaya başlayabilir. Ancak orduların milyonlarca ere ihtiyaç duymaması gibi, gelecekteki sağlık servisleri de milyonlarca pratisyen hekime gerek duymayabilir. Eczacılar doktorlardan çok daha önce bu duruma düşecektir. 2011’de San Francisco’da açılan bir eczane tek bir robotla işliyor.Robot, eczaneye gelen müşterilerin tüm reçetelerine, bu reçetelerle alınan ilaçların ve şüphelenilen alerjilerin detaylı bir listesine saniyeler içinde ulaşıyor. Yeni reçetede yazılmış ilaçların birbiriyle tepkimeye girip yan etkiye yol açabilme ihtimalini hesaplıyor ya da alerjileri tetikteme durumunu kontrol ediyor ve müşteriye gerekli ilacı veriyor. Robot eczacı ilk yılında tek bir hata bile yapmadan iki milyondan fazla reçeteyi karşılayabildi; kanlı canlı bir eczacıysa kendisine gelen reçetelerin ortalama yüzde 1.7’sinde hata yapıyor. ABD’de bu sayı yılda her yıl 50 milyondan fazla hatalı reçeteye tekabül ediyor. Kimileri algoritmaların teknik konularda doktorlar ve eczacılardan başarılı olabileceğine katılsa da insan dokunuşuna alternatif olamayacaklarını öne sürüyor. Eğer akciğer tomografiniz kanser olduğunuzu belirlediyse bunu size değer veren ve empati kurabilen bir doktordan mı yoksa bir makineden mi duymak istersiniz? Peki bu haberi kelimelerini kişiliğinize göre seçebilecek, size değer veren ve empati kuran bir makineden duymaya ne dersiniz? Organizmaların algoritmalar olduğunu ve Watson’ın duygu durumunuzu tümörlerinizi tespit ettiği kadar doğru belirleyebildiğini unuttunuz mu yoksa? Watson tansiyonunuzu, beyin aktivitenizi ve biyometrik verilerinizi inceleyerek duygu durumunuzu belirleyebilir. Yaşamınız boyunca kurduğunuz sosyal iletişime dair milyonlarca istatistiki veriyi analiz ederek ses tonunuzdan ne duymak istediğinizi saptayabilir. İnsanlar övündükleri duygusal zekaları yüzünden sıklıkla kendi duygularında boğulur ve yapıcı olmayan tepkiler verir, öfkeli bir karakter karşısında bağırmaya başlar, korkmuş biri karşısında endişeye kapılırlar. Watson’ın dikkati bunlarla dağılmaz. Hislerden yoksun olduğundan istisnasız her duygusal hâlimize en uygun tepkiyi verebilir. Chicago merkezli Mattersight gibi öncü şirketler, müşteri hizmetleri gibi alanlarda bu fikri kısmi olarak uygulamaya başladı bile, firma ürünlerini artık şu reklamlarla pazarlıyor: “Biriyle ilk kez konuştuğunuz anda iyi anlaşabildiğinizi hissettiniz mi hiç? Bu büyülü his, kişisel bir bağlantı kurabilmenin sonucudur. Mattersight dünyanın her köşesindeki çağrı merkezlerinde her gün bu duyguyu yaratıyor.” Bir talep ya da şikayetle çağrı merkezini aradığınızda, çağrınız bir temsilciye yönlendirilmeden önce genellikle birkaç saniye bekletilirsiniz. Mattersight’ın kullandığı sistemler aramanızı akıllı bir algoritmaya aktarır. Algoritma talebinizi dinlerken kelime tercihlerinizi ve ses tonunuzu inceler o anki ruh hâlinizi belirlerken kişiliğinizi de analiz eder; dışadönük bir insan mısınız yoksa içe kapanık mı? İsyankar mısınız yoksa yardıma mı ihtiyaç duyuyorsunuz? Bu bilgiler ışığında algoritma sizi ruh hâlinize ve kişiliğinize en uygun temsilciye aktarır. Algoritma, şikayetlerinizi sabırla dinleyerek empati kurabilecek biri mi size yardımcı olabilir yoksa en hızlı teknik çözümü sunacak rasyonel bir temsilciye mi ihtiyaç duyuyorsunuz, bunun kararını verir. İyi bir eşleşme mutlu bir müşteri ve müşteri hizmetleri bölümleri için daha az para ve zaman kaybı anlamına gelir.

İnsanların ekonomik kararlar alırken neleri gözettiğini araştıran davranışsal ekonomistler de benzer sonuçlara vardılar. Daha doğrusu bu kararları kimin verdiği sorusu üzerinde durdular. Kim Mercedes yerine Toyota almayı tercih ediyor kimler tatil için Paris yerine Tayland’ı seçiyor ya da Şangay borsası yerine Güney Kore hazine bonolarına yatırım yapıyor? Pek çok deney bu kararlar alan tek bir benlik olmadığına işaret ediyor. Aksine kararlarımız içimizde sürekli çelişen ve çatışan farklı oluşumlardan doğuyor. 
2002’de Nobel Ekonomi ödülü’nü kazanan Daniel Kahneman’ın çığır açan çalışmasında gönüllülerden üç aşamalı bir deneye katılmaları istenir. Deneyin “kısa deneme” olarak adlandırılan etabında katılımcılar ellerini bir dakikalığına 14 °C ısıda su dolu bir kaba sokarlar. Bu sıcaklık seviyesi deneklere acı vermese de rahatsız edebilecek bir soğukluktadır. Altmış saniye sonra deneklere ellerini çıkarmaları söylenir. “Uzun deneme” etabına gelindiğindeyse katılımcılardan diğer ellerini aynı ısıda su dolu başka bir kaba yerleştirmeleri istenir. Ancak altmış saniyenin sonunda kaba gizlice sıcak su ilave edilerek ısı 15 °C seviyesine getirilir. Sıcak su ilave edildikten otuz saniye sonra katılımcılara ellerini sudan çıkarmaları söylenir. Kimi katılımcılar deneye “uzun deneme” etabıyla başlamıştır. Deneye hangi etaptan başlamış olurlarsa olsunlar, katılımcılar ilk iki etabı tamamladıktan tam yedi dakika sonra deneyin üçüncü ve en önemli kısmına geçerler. Katılımcılardan ilk iki etaptan birini tercih ederek tekrarlamaları istendiğinde katılımcıların yüzde 80’i daha az acılı olduğunu ileri sürerek “uzun denemeyi” tekrarlamayı tercih eder. Bu basit soğuk su deneyi, liberal dünya görüşünü temelinden sarsar. içimizde en az iki farklı benliğin olduğunu ortaya çıkarır: Deneyimleyen benliğimiz ve anlatıcı benliğimiz. Deneyimleyen benliğimiz an be an değişen bilincimizdir. Deneyimleyen benliğimiz için “uzun deneme”nin daha kötü olduğu aşikardır. “Kısa deneme” etabında katılımcılar altmış saniye boyunca rahatsız edici bir ısı seviyesine sahip olan 14 °C sıcaklıktaki suyu deneyimler, sonraki etaptaysa aynı rahatsız edici deneyimi yaşayıp çok küçük bir farkla biraz daha iyi sayılabilecek 15 °C sıcaklıktaki suya otuz saniye daha dayanır ama bu küçük iyileştirmeye rağmen “uzun deneme” etabı da hâlâ rahatsız edicidir. Deneyimleyen benliğiniz açısından biraz daha az rahatsız edici bir deneyimi çok rahatsız edici bir deneyime ekleyerek, tüm süreci daha katlanılabilir ve çekici hâle getirmek mümkün değildir.
Evrim bu hileyi pediatristlerden çok önce keşfetmişti. Doğum sırasında kadınların yaşadığı dayanılmaz acılar düşünüldüğünde aklı yerinde hiçbir kadının bir daha doğurmak istemeyeceği varsayılabilir. Ancak doğumun sonunda ve takip eden günlerde hormon sistemi ağrıyı azaltan ve rahatlamayla beraber mutluluk hissi de yaratan kortizol ve betaendorfin hormonları salgılar. Bunların yanı sıra bebeğe duyulan sevgi ve arkadaşlar, aile üyeleri, dini dogmalar ve milliyetçi propagandalar sayesinde doğum travması olumlu ve mutlu bir anıya dönüşür.
Tel Aviv’deki Rabin Tıp Merkezi’nde yürütülen bir çalışma, doğum anısının genellikle doruk ve son anlardan oluştuğunu, genel sürecin doğum anısının oluşmasında neredeyse hiçbir etkisi olmadığını göstermiştir.16 Başka bir çalışmada 2428 İsveçli kadından doğumun üzerinden iki ay geçtikten sonra doğum anılarını anlatmaları istenir. Aktarılan deneyimlerden yüzde 90’ı ya olumlu ya da çok olumludur. Bu olumlu bildirimler, kadınların çektikleri acıyı unuttukları anlamına gelmez elbette, yüzde 28,5’i yaşadıklarını hayal edilebilecek en kötü acı olarak aktarır. Ancak bu acı bile deneyimlerini olumlu değerlendirmelerinin önüne geçemez. Anlatıcı benlik bir elinde keskin bir makas, diğerinde kalın uçlu siyah bir kalemle anılarımızla oynar. En korkunç anları sansürlerken mutlu sonla biten hikayelerimizi arşivler.

28 Mayıs 2018 Pazartesi

Kahinden Hükümdara

Kısa süre önce Google’ın ezeli rakibi Facebook tarafından başlatılan bir çalışma, bugün bile Facebook algoritmasının insanların kişiliklerini ve eğilimlerini kendi arkadaşlarından, ebeveynlerinden ve eşlerinden daha iyi tarttığını ortaya koyuyor. Facebook hesabı olan 86.220 gönüllüden yüz maddelik bir kişilik anketi doldurmaları istendi. Facebook algoritması gönüllülerin beğen ikonuna tıklayarak beğendikleri web siteleri, resimler ve videolar üzerinden gönüllülerin anketteki yanıtlarını tahmin etmeye çalıştı. Beğeni sayısı arttıkça algoritmanın hata payı azalıyordu. Algoritmanın tahminleri gönüllülerin iş arkadaşları, yakın arkadaşları, aileleri ve eşleriyle karşılaştırıldığında inanılmaz sonuçlar ortaya çıktı. Algoritma yalnız on beğeniyle iş arkadaşlarından daha iyi tahminler yapabilir, yakın arkadaşların tahminlerini geçebilmek için yetmiş, aileden daha doğru tahminlerde bulunmak için yüz elli, eşleri yenmek içinse yalnızca üç yüz beğeni yeterlidir. Başka bir ifadeyle Facebook’ta üç yüz kez beğen ikonuna tıklamışsanız algoritma fikirlerinizi ve isteklerinizi eşinizden bile daha iyi tanıyabilir. Bazı alanlarda Facebook algoritması insanın kendisini bile alt edebiliyor. Katılımcılardan madde kullanma sıklıkları ya da sosyal ağlarının genişliği hakkındaki değerlendirmeleri istendiğinde algoritmanın tahminlerinin kişilerin kendi hükümlerinden daha isabetli sonuçlar verdiği görüldü. Araştırmanın sonuçlarının özetlendiği (Facebook algoritması değil bir insan tarafından yazılan) makalede şu tahminde bulunuluyor:“İnsanlar kendi psikolojik muhakeme süreçlerini bırakıp etkinlik seçmek, kariyer planlamak, hatta duygusal ilişkileri hakkında tercih yapmak gibi önemli kararları verirken bilgisayarlara güvenebilirler. Veri üzerinden yola çıkılarak alınan kararların insanların yaşamlarını iyileştirmesi mümkündür.”
Daha netameli bir yorum yapacak olursak; aynı çalışma önümüzdeki başkanlık seçimleri için ABD’de yapılırsa, Facebook yalnızca milyonlarca ABD’linin siyasi görüşünü tahmin etmekle kalmayacak, sonucu etkileyebilecek kararsız oyları tespit ederek bunların nasıl değiştirilebileceğinin bilgisine de sahip olacak. Facebook Oklahoma’da Cumhuriyetçiler ile Demokratlar arasındaki yarışın gittikçe kızıştığını söyleyip 32.417 seçmenin henüz karar vermediğini belirleyebiliyor, üstelik her birinin dengeyi değiştirecek kararı almak için adaylardan neler duymak istediğini de biliyor. Peki Facebook bu paha biçilemez siyasi bilgiyi nasıl elde ediyor? Bu değerli bilgiyi biz kullanıcılar bedava sunuyoruz. Emperyalizmin altın çağında Avrupalı işgalciler ve tüccarlar renkli boncuklar karşılığında bir adanın ya da bir ülkenin tamamını satın alabiliyordu. 21. yüzyılda kişisel bilgilerimiz belki de hâlâ sahip olduğumuz en kıymetli kaynağımız ve biz de elektronik posta hizmeti ve komik kedi videoları karşılığında bu kaynağı teknoloji devlerine veriyoruz.

16 Mayıs 2018 Çarşamba

Karanlığın Sol Eli- Ursula K. Le Guin

İnsanları biliyorum, şehirleri, çiftlikleri, tepeleri, nehirleri ve kayalıkları biliyorum, tepelerdeki bir otlağın bir kenarında güz sonu güneşin nasıl battığını biliyorum; ama bütün bunları bir sınıra bağlamanın, ona bir ad takıp bu adı taşımayan yerleri sevmemenin ne anlamı olabilir? 
Ülkesini sevmek nedir; başka ülkeleri sevmemek mi? Öyleyse iyi bir şey değil bu. Yoksa sadece kendini sevmekten mi ibaret? O zaman iyi bir şey olabilir; ama bunu bir erdem, bir meslek haline getirmemek gerek… 
Hayatı sevdiğim gibi Estre Beyliği’nin tepelerini de seviyorum, ama böyle bir sevginin nefretten oluşan bir sınır hattı olamaz.