AI-blog

Érdekességek, elmélkedések és kutatási eredmények a mesterséges intelligencia, robotika és egyéb sci-finek ható tudomány területeiről.

kommentek

Linkek

Mikor lesz az önzés nem kifizetődő?

2010.12.13. 10:24 | Haibane | 19 komment

Címkék: public game dilemma agy evolúció goods prisoners

Néhány éve kezembe került Robert Axelrod talán leghíresebb könyve, mely a fogolydilemmával foglalkozik: egy egyszerű példa, hogy mikor éri meg együttműködni és mikor nem.

A játékban két szereplő van, akiket a rendőrség elfogott, elkülönített és tanúzásra szólított fel. Itt lép be a képbe az együttműködés, ugyanis ha mindketten tagadnak akkor csak 6 hónapot kapnak, ám ha mindketten vallanak akkor már 6 évet. Viszont, ha az egyik vall, de a másik tagad akkor az előbbi nem kap semmit, míg társát 10 évvel jutalmazzák. Képzeljük magunkat egy pillanatra a helyzetbe! Nem tudjuk, hogy társunk mit fog tenni, vajon tagadni fog? Ebben az esetben a vallomásommal szabaddá teszem magam, ő pedig 10 évig élvezi majd a börtön vendégszeretetét. De mi van ha vall? Nos, ekkor is a vallomással járok jól, mert így tíz év helyett csak hatot kapok. Logikus, hogy bármelyik szituációban a vallomástétel a nyerő stratégia, tehát az önzés.

Őszintén szólva ez nem hangzik valami pozitívan, tényleg mindig csak az önzés vezet a sikerre? Persze már Dawkins is megírta, hogy a génjeinkben kódolva van saját magunk priorizálása a túlélés reményében, de valahol csak kell lennie magyarázatnak arra, hogy sokan ennek ellenére képesek közösségben gondolkodni, cselekedni. De vajon mik a szükséges feltételek, hol van az a határ mikor az egyéni érdeket legyűri a közösség?

Hogy némi választ kapjunk erre a kérdésre hozzunk létre egy másik játékot, hasonlót mint ezt (kommentben jöhet a magyar neve, ugyanis nem tudom). 6 játékosunk van, fejenként 20 forinttal kezdenek, majd el kell dönteniük, hogy ebből mennyit szeretnének a közösbe beadni. Miután mindenki befizette amennyit gondolt (természetesen nem kötelező fizetni) a közösben lévő pénzt megháromszorozzuk és egyenlő arányban visszaosztjuk. Tehát, ha a közösbe sok pénz tettek be akkor mindenki sokat kap vissza, ha keveset akkor a befizetők valószínűleg buknak. Ki jár megint a legjobban? Naná, hogy az aki nem fizetett be semmit! Viszont ha senki sem ad be a közösbe akkor nyereség sincs...

Ismételjük meg a játékot még néhányszor és nézzük meg hová vezet ha a játékosok gondolkodását evolúciónak vetjük alá. A legtöbb pénzt összegyűjtők túlélnek, a többi pedig kihal. A kiesett játékosok helyére illeszünk be a túlélők keresztezéséből, mutációjából létrehozott új egyedeket. Generációk során mérjük az átlagos nyereséget, ezáltal egyfajta fogalmunk lesz arról, hogy mennyire hajlandóak a játékosok kooperálni.

Azt tapasztaljuk, hogy a kezdetben kis számban megjelenő önző egyedek viselkedése azonnal elterjed, ezáltal "megfertőzve" a populációt, aminek eredményeképpen mindenki csak máson akar élősködni. Érdekes módon ha tisztán kooperáló játékosokkal kezdünk, akkor a mutációk révén hamar felüti a fejét az élősködés és futótűzként terjed el megint. Tehát megint ott vagyunk, hogy minden az önzés felé húz.

Változtassuk meg a játékot egy kicsit és mondjuk azt, hogy a közösbe adott pénzt ne egyszerűen háromszorozzuk meg visszaosztás előtt, ehelyett inkább "aránytalanul" növeljük meg a befizetés szerint. Jó példa erre ha valaki a barátaival könyvet akar írni, hiába öli bele minden erejét, hogy az ő fejezete tökéletes legyen ha társai semmit sem csinálnak: az eredmény hasztalan lesz. Ha már a barátok fele dolgozik egy kicsit akkor esetleg már egy szerényebb kiadó elgondolkodik majd a könyv megjelentetésén. Viszont ha mindenki beleadja a munkáját akkor az tulajdonképpen nem az előző gyenge eredmény duplája lesz hanem ennél sokkal meghatározóbb és eredményesebb. A mi esetünkben ha mindenki beadja a közösbe az összes pénzét akkor 120Ft x 3 = 360Ft (ami fejenként 60Ft nyereség) helyett 120*(120/20) = 720Ft lesz, ami fejenként 120 Ft nyereség.

Ezzel az apró változtatással érdekes módon megváltozik a helyzet, ugyan az önzés még mindig csábító, de már nem annyira, hogy kiszorítsa a kooperatív játékosokat, sőt egy idő után teljesen visszaszorul. Ne tévesszen meg senkit a dolog, itt még mindig azok az egyének élnek túl, akik a legtöbb pénzt gyűjtik, tehát valahol legbelül az önzés dominál, mégis a megfelelő szabályoknak köszönhetően inkább hajlandóak együttműködni semmint élősködni.

Úgy érzem két dolgot mindenképpen tanulhatunk ebből:

  1. létezik szabály, mely összefogásra serkent, csak meg kell találni
  2. egy kellően komplex rendszert apró változások teljesen szétrombolhatnak, vagy akár felépíthetnek

A bejegyzés trackback címe:

https://aiblog.blog.hu/api/trackback/id/tr712512557

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

vorpex 2010.12.13. 16:17:34

Kissé félrevezetőnek érzem az a második bekezdés utolsó mondatát: "Logikus, hogy bármelyik szituációban a vallomástétel a nyerő stratégia, tehát az önzés."

Ha csak a saját nyereségem nézem, akkor az önzés a legjobb módszer. Ha azonban az együttes nyereséget/veszteséget, akkor az derül ki, hogy az együttműködés éri meg jobban, hisz akkor mindketten kiszabadulnak, így érve el külön-külön és együtt is a legjobb nyereséget. Nem igazán látom be, hogy az önzés evolúciosan jobb stratégia lenne. Az ember azért számít intelligensnek, mert jól fel tudja mérni, hogy a téynezők alapján hogyan jár a legjobban, ha önző, vagy ha együttműködik. Azok a bünözők, akik kellően intelligensek, és tudják a szabályokat, nem fognak köpni.

Másrészt a cikk kijelentésével kapcsolatban is lehetne vitázni. A fogoly-dilemmára épült régen egy verseny, ahol programokat lehetett beküldeni, amik egymás ellen versenyeztek a különböző stratégiájukkal. A versenyt egy olyan program nyerte, amely a következő képpen működött. 1. lépésben együttműködött, ez után azt csinálta, amit az ellenfele az előző körben. Vagyis az együttműkődést előnyben részesítette az önzéssel szemben, de csak bizonyos pontig; és nyert. Sőt akkor is, hogy másodjára is kiírták ezt a versenyt. Ugyanaz a program bizonyult újfent a legéletképesebbnek a többi akkora többszörösen módosított program közül.

ref.: A lényeg az "Axelrod versenyei " cím alatt van.
www.sulinet.hu/eletestudomany/archiv/1996/9647/07.html

A lényeg, amit mondani szeretnék, hogy az önzés, mint erősen nyerő stratégia nem hiszem, hogy megállná a helyét, habár a cikk ezt veszi alapul.

Üdv.

Haibane 2010.12.13. 16:31:06

@vorpex: köszi a konstruktív hozzászólást.

"Ha csak a saját nyereségem nézem, akkor az önzés a legjobb módszer."
Erről van szó! Lehet nem sikerült kihangsúlyoznom eléggé, de én indivídum alapján határoztam meg a nyereséget mely alapján az önzés a nyerő stratégia. Természetesen ha az evolúciós algoritmus fitness függvénye a csoportra vonatkozna akkor más lenne, de azért maradjunk abban, hogy a halál torkában az emberek döntő többsége inkább mentené magát semmint a csoportot :)

"Nem igazán látom be, hogy az önzés evolúciosan jobb stratégia lenne. Az ember azért számít intelligensnek, mert jól fel tudja mérni, hogy a téynezők alapján hogyan jár a legjobban, ha önző, vagy ha együttműködik."

Igen, de ugye az ember azért is intelligens mert remek módon tud csalni, megtéveszteni, ergó nyerészkedni. Te úgy látod, hogy az együttműködés a nyerő stratégia, de 100% biztos vagy benne hogy a másik is így gondolja?

Axelrod versenyéről a linkelt könyv szól, itt anno a tit-for-tat stratégia nyert, ami a fent leírt pénzes szimulációban viszont nem kivitelezhető és azt bátran kijelenthetjük, hogy az 1v1 szituációk a valóságra vetítve már nem elegendőek.

vorpex 2010.12.13. 16:57:22

"...de azért maradjunk abban, hogy a halál torkában az emberek döntő többsége inkább mentené magát semmint a csoportot :)"

Szerintem itt tévedsz, valamint mondandóm lényege is ez volt. A fentebbi mondat úgy pontos igazán:

"...de azért maradjunk abban, hogy a halál torkában az emberek döntő többsége inkább mentené a csoportot, ha azzal saját magát is megmenti." Nem hiszem, hogy az egyén és a csoport fitneszfüggvénye élesen szétválasztaható lenne. Nézzül pl. a hangyákat, illetve a farkasokat. Biztosan nem választható szét, hisz ezen élőlények egész létezése a csoportos létezésre alapul. Ugyanez igaz az emberre is. A cápára már nem.

Remélem érthető mire gondolok. :)

Üdv.

Haibane 2010.12.13. 17:00:02

@vorpex: "Ugyanez igaz az emberre is. A cápára már nem."

Értem mire gondolsz, de sajnos a statisztika és a tapasztalat ennek ellenekezőjét mutatja. Mivel ez egy játékelméleti kutatás része volt, ha nem közvetlenül embereket helyettesítesz be hanem cégeket akkor rájössz hogy de igen is cápák játszanak.

swGuru 2010.12.13. 17:00:50

Szerencsére az önzés is egy alapvető emberi tulajdonság, személyiségjegy, mondhatnánk. A legtöbb embernél pedig a személyiség sokkal inkább működik, mint a hideg matematikai számítás. Tehát elméletben érdemes játszani ilyen kérdésekkel, csak nem érdemes.
Akkor viszont felmerül, hogyan lehet lemodellezni számítógéppel az emberek természetét? Érdekes kérdés, és az eddigi talán egyetlen megoldás annyira érdekes volt, hogy az USA hadseregének is felkeltette az érdeklődését, és félig nyíltan érdeklődni kezdtek a megoldás felől. Kedves @Haibane, ugye nem érdekel, mi volt ez a módszer?
Ha pedig problémád van velem, javaslom, e-mailben rendezzük le.

Haibane 2010.12.13. 17:12:44

@RGabor: igazad van, nem lehet az emberi természetet lemodellezni, statisztikai mintát viszont lehet venni. A játékelmélet eme szeglete pedig inkább gazdasági téren jelentős, vagy pedig AI programozásban, ott ugyanis nincs meghatározott személyiség.

USA hadsereg... szerintem tudom mire gondolsz, én kevésbé hiszek ebben.

A problémámról pedig annyit, hogy te tettél rám egy megjegyzést majd elfutottál. Az ilyet pedig én nem szeretem, főleg, hogy én nem személyeskedtem. Ennyi.

swGuru 2010.12.13. 17:21:08

@Haibane: Le lehet modellezni, erről szól épp a vita az Appleblogon.
Nem személyeskedtél, csak tönkretetted a drága pénzen vásárolt hirdetésemet, pedig Te is drága pénzért tanultad a szakmádat, amit mindenki elismer. MCS pedig az oldal egyik gazdája, ezért érintett a kérdésben.

Haibane 2010.12.13. 17:29:51

@RGabor: nézd, nem állt szándékomban kárt okozni, de ugyanakkor úgy gondolom, hogy a blogbejegyzés alatt lévő kommentbox a vélemény elmondására van. Nem lett volna egyszerűbb simán letiltani a hozzászólásokat mint ahogy eddig is volt?

swGuru 2010.12.13. 18:27:28

@Haibane: Nem tudom, miért így van. Egy biztos, komoly reklámot a PR cikk eredményez csak.
Azért is sajnáltam, hogy pont te voltál ellenem, mert nekem az AI az egyik vesszőparipám. Nem tehetek róla, Asimovon nőttem fel, és informatikus vagyok, valahogy ez összenőtt :-) Ha érdekel, szívesen kifejtem a véleménye(i)met a témában, ha nem, akkor megtartom magamnak.

Haibane 2010.12.13. 19:14:25

@RGabor: mindenképpen érdekel, ne fogd vissza magad :)

swGuru 2010.12.13. 19:32:16

@Haibane: Ígérem, leírom a héten pár mondatban az elképzeléseimet, és szívesen elküldöm egy e-mailben (ha megadod a Tiédet). Írj egy mailt az info@swguru.hu címre, akkor fogom tudni.

brlv24 2010.12.13. 21:17:35

@RGabor: Megirhatod ide is, tobb embert erdekelne:)

AlbaZen 2010.12.15. 09:39:46

@RGabor: Szia, én is kíváncsian várom az elképzeléseidet a témában :)

TimeToLive 2010.12.22. 18:03:44

@Haibane:
Szerintem ennél azért egy kicsivel bonyolultabb a helyzet.Ugyanis meglepő módon az önző viselkedés magában foglalhatja a kooperációt is.

Hogy részletesebb legyek, vizsgáljuk meg a játékelméleti modelleket közelebbről. A játékelméletben minden játékos racionális döntéseket hoz, azaz mindig arra törekszik, hogy az adott helyzetben a lehető legjobb lépést tegye meg. Ezt hívják best response (BR) stratégiának. Ez a BR stratégia egyébként az önző viselkedés modellje (maga az önzés mint kifejezés csak sokkal később, az autonóm ágenseknél kerül először elő).

Most vegyük szemügyre az általános klasszikus játékelméleti modellt. Itt minden játékos csak a jelen állapot szerint hoz döntést, azaz senki sem rendelkezik memóriával. Ilyenkor a BR döntés az aktuális állapothoz képest BR.
Most, ha sokáig játszanak, akkor jobb esetben a játék konvergál egy egyensúlyi állapothoz, ezt hívják Nash egyensúlyi pontnak (NEP).
Viszont a NEP lehet hogy a szükséges rossz megoldás mindenki számára, és más stratégia profilok sokkal jobb összeredményt hozhatna (Pareto-hatékony). Azaz mindenki az adott körülményekhez képest a BR-t választja, viszont ezáltal mindenki rosszul jár. Tipikus példa erre a cikkben is megemlített fogolydilemma.

Vagyis a klasszikus modellben teljesen igazad van, hogy az önzés megöli a közös sikert.
De amint látjuk, a klasszikus modell nagyon messze áll a valós modellektől, így manapság már érdemben nem is nagyon foglalkoznak vele. Ellenben különféle kiterjesztett modelleket dolgoztak ki az utóbbi 30 évben.

Az egyik ilyen modell a memóriával rendelkező játék. Ebben minden játékos megjegyzi, hogy a többiek milyen döntéseket hoztak az elmúlt "k" körben. Ennek segítségével képesek az ellenfelek stratégia policy-jét "megtanulni" (ilyen tanulási módszer pl. a bounded reasoning - "én úgy gondolom hogy te úgy gondolod hogy én úgy gondolom stb", a fictitious play, vagy a Bayes tanulás). Miután a játékos megtanulta az ellenfelei policy-eit, képes lesz olyan BR döntést hozni, ami nem csak rövid távon, hanem hosszú távon is eredményes. Na most, ha minden játékos ily módon tanul és figyeli a többit, a tanulási folyamat során óhatatlanul egyfajta metakommunikációt folytatnak egymással ( a döntéseiken keresztül kommunikálnak egymással) .
Ilyenkor az az érdekes dolog történik, hogy hiába mindenki a saját BR stratégiáját követi, ebben a BR-ban már implicite kódolva van az együttmüködés.
Tehát külsőre mindenki önző, mert BR-t választ, de közben belül már bizonyos szintű kooperáció zajlik.Ez azért egy kicsit más mint az 1. kijelentésed, mert ott te explicit szabály segítségével kényszeríted a játékosokat kooperációra, míg az általam leírt modellben maga a játékos még mindig azt hiszi, hogy önző.

Amúgy ez az önzésbe kódolt együttmüködés még nagyon új, és tiszta elméleti eredmények még nem születtek, csak hipotésizek és számos sikeres alkalmazás (főként szenzorosak).

Végül még vmi: a 2. kijelentéseddel a matematika és a számításelmélet egy (sztem viszonylag fontos, de sajnos alulértékelt) területe, a stabilitáselmélet foglalkozik. Itt a kérdés az, hogy ha adott 1 függvény (játék), melynek az optimális pontját (pl. NEP) kell megkeresni, akkor ha a függvény paramétereit kis mértékben módosítjuk, akkor mennyire változik az optimális pont.
Erre már született számos szép eredmény, szal érdemes utánanézni.

Amúgy a változtatás amit említettél a cikkben, az nem kis változtatás. Ugyanis azáltal hogy másképp osztod szét a pénzt, az eredeti játékmodellt átalakottad egy másik típusú játékká. Ezt az új modellt úgy hívják hogy koalíciós játékmodell, és teljesen más dinamikával és jellemzőkkel bír, mint az eredeti klasszikus modell.

Haibane 2011.01.07. 23:11:50

@TimeToLive:
Természetesen nem volt célom egy blogpostban az egész játékelméleti hátteret bemutatni, mert gondolom belátod, hogy ez nem lehetséges, de mivel tavaly jelent meg egy cikkem a témában ezért gondoltam, hogy egy lényegesen egyszerűsített és zanzásított változatot felteszek ide.

Nagyon jó, hogy ezeket a dolgokat leírod, látszik, hogy tényleg értesz hozzá, azoknak aki nem jártasak a területen azoknak ez mind adalékinformáció lehet. Szeretném leszögezni, hogy ezen a blogon nem célom nagyon mélyre menni a tudomány terén (arra ott van a munkám) inkább egyszerűbb formában mutatnám be a bonyolultat.

TimeToLive 2011.01.08. 20:08:51

@Haibane: Szervusz!
"Természetesen nem volt célom egy blogpostban az egész játékelméleti hátteret bemutatni, mert gondolom belátod, hogy ez nem lehetséges"

Persze, nem is az volt a célom, hogy kritizáljalak. Csak egy diszkussziót akartam kezdeményezni, miszerint az önzés akár hosszú távon is hasznos lehet, és nem feltétlenül káros a köz számára. Továbbá eddigi kutatásaim során számomra nagyon is úgy tűnik, hogy az önzés önmagában is hordoz együttmüködést (meta szinten), ha az ágens képes tanulni és a környezeti változásokhoz adaptálni.
Vagyis az önzés nem fehér-fekete valami. Erre mondtam az elején hogy a helyzet kicsit bonyolultabb (szerintem), mint amit te állítasz.

Haibane 2012.08.29. 09:53:33

@TimeToLive: kicsit visszatértem erre a területre, ha esetleg van a témában publikációd, amit ajánlasz, azt szívesen elolvasnám.

Továbbá:
"tiszta elméleti eredmények még nem születtek, csak hipotésizek és számos sikeres alkalmazás (főként szenzorosak)."

Ez is érdekelne, tudnál konkrét szerzőt/cikket mondani?

köszi!

TimeToLive 2012.11.13. 12:36:01

@Haibane: Bocsánat a késői válasszért, de rég nem jártam erre :)

Szóval ha érdekel a téma, akkor érdemes körülnézned a köv. területeken:

1. klasszikus game theory esetén fictitious play, amikor az ellenfelek stratégiáját lemodellezzük, és asszerint számítjuk ki a BR-t. Ez önmagában is hordozhatja a lehetséges együttmüködést

2. Evolutional game theory - elég sok cikk azzal foglalkozik hogy stabil populációk esetén a csupa önző ill. csupa kooperatív egyedekből álló halmazok összteljesítménye nem mindig a legjobb. Így kell vmilyen egyensúly. Persze ehhez a modellt kicsit módosítani kell, pl. bevezetni a befolyásolhatósági tényezőt: egy ágens sikeres stratégiáját mennyire akarja adoptálni a szomszédjai.

3. Behavioural game theory: ez egy nagyon új és érdekes területe a játékelméletnek. Itt mivel az ágensek nem feltétlenül hasonló szintű racionálitással tudnak gondolkodni (korlátozott info vagy erőforrás miatt), az önzés néha jól jön (pl. nem szimmetrikusak a célok). Erre egy nagyon érdekes példa a pár éve Martin Zinkevich (Yahoo/Google) és Mike Bowling (univ. of Alberta) által elindított Lemonade Stand Game (dl.acm.org/citation.cfm?id=1978730)

A játékban 3 játékos található, akiknek vmilyen célfv-t kell maximalizálniuk úgy, hogy nem kommunikálhatnak egymással. Viszont együttmükődés nélkül nem lehet a játékot megnyerni. Így az igazi (hosszútávú) önző stratégiáknak figyelembe kell venniük a rövidtávú együttmüködést :)

érdemes elolvasni a 2010es verseny nyertes csapatának az UAI-s cikkét:
eprints.soton.ac.uk/271215/1/ECAI-604.PDF