Spanning bij Google over beëindigd gedrag van AI-onderzoeker

Spanning bij Google over beëindigd gedrag van AI-onderzoeker

Eind 2018 kregen Google AI-onderzoekers Azalia Mirhoseini en Anna Goldie toestemming om een slim concept uit te testen. Het paar dacht na over de mogelijkheid dat AI-software zou kunnen helpen dezelfde AI-hardware te ontwikkelen die Google had ontwikkeld om machine learning-algoritmen uit te voeren in zijn datacenters, ook wel bekend als tensorverwerkingseenheden of TPU's.

Jeff Dean, hoofd van de AI-divisie van Google, steunde het idee, dat uiteindelijk de codenaam Morpheus kreeg, en de chipontwerpafdeling van het bedrijf toonde interesse. Het concentreerde zich op een fase van chipontwerp waar ingenieurs moeten kiezen hoe ze circuitblokken fysiek op een stuk silicium moeten rangschikken, een uitdagende, maandenlange puzzel die de prestaties van een chip beïnvloedt. In een artikel dat in juni 2021 in het tijdschrift Nature werd gepubliceerd, waren Goldie en Mirhoseini de hoofdauteurs en beweerden ze dat een methode die versterkingsleren wordt genoemd, die fase sneller en effectiever zou kunnen voltooien dan de eigen ingenieurs van Google.

De uitkomsten trokken media-aandacht en aandacht in de halfgeleiderindustrie. Professor Andrew Kahng van UC San Diego verwachtte dat de methode binnenkort door chipmakers zal worden overgenomen in een discussie over de Nature-studie. Hij verklaarde dat de bevindingen van Mirhoseini en collega's "zeker magisch lijken voor oude beoefenaars." Met hulp van Morpheus ontwikkelde TPU-chips zijn nu aanwezig in de datacenters van Google. Volgens afzonderlijke verklaringen van Samsung en Nvidia gebruiken beide bedrijven versterkingsleren om chipontwerpen te verbeteren.

Ondanks hun succes hebben Mirhoseini en Goldie naar verluidt jarenlang hun bevindingen verdedigd tegen een aantal ongefundeerde beschuldigingen, volgens vijf huidige en voormalige Google-medewerkers en documenten verkregen door WIRED.

Volgens Google-medewerkers viel Satrajit Chatterjee, een meer senior onderzoeker, de dames persoonlijk aan onder het mom van een wetenschappelijk geschil. Ze spraken onder pseudoniemen omdat ze niet over zakelijke dingen mochten praten. Volgens andere werknemers kreeg Chatterjee een schriftelijke waarschuwing nadat talloze klachten over zijn behandeling van de dames waren ingediend bij de personeelsafdeling van Google, maar hij bleef kritiek op hun prestaties.

Nadat Chatterjee toestemming had gevraagd aan onderzoeksmanagers om een openbare weerlegging van Mirhoseini en Goldie's Nature-werk te publiceren, bereikte het geschil in maart van dit jaar een hoogtepunt. Zijn verzoek werd afgewezen door een commissie van topmanagers die was samengesteld om dat artikel te bestuderen, omdat de bevindingen het eerdere onderzoek niet aanvechten. Chatterjee verloor zijn baan in dezelfde maand.

Goldie publiceerde op 2 mei een document op een besloten Google-discussieforum waarin hij het besluit van de commissie uiteenzette om Chatterjee's paper af te wijzen en hem beschuldigde van het uiten van een aantal ongefundeerde kritiek op de Morpheus-co-leads en hun werk. Sat Chatterjee voert volgens Goldie al meer dan twee jaar een lastercampagne tegen Azalia en mij. Hij begon een poging om ons werk in diskrediet te brengen en maakte ongegronde beweringen dat Azalia en ik de resultaten verzonnen en vervalst hadden.”

De tekst werd gepubliceerd naar aanleiding van beschuldigingen van Chatterjee's advocaat dat Google-onderzoekers hem misbruikten in een poging een wetenschappelijk gesprek te beëindigen in een thread waarin Googlers reageerden op een stuk in de New York Times waarin oorspronkelijk het ontslag van Chatterjee werd onthuld. De meerderheid van de Google-medewerkers die op de thread reageerden, toonden steun voor de twee vrouwen en hun werk; sommige huidige en voormalige Google-onderzoekers deden dat in het openbaar op sociale media.

De advocaat van Chatterjee, Laurie M. Burgess, weigerde haar cliënt toegankelijk te maken voor een interview en beweerde dat hij bewijs had dat Google zijn werk onterecht had achtergehouden. Ze ontkende ook dat hij ongepast had gehandeld. Burgess reageerde op een e-mail met het verzoek om specifieke informatie over Chatterjee's gedrag jegens Goldie en Mirhoseini en hun project door te verklaren dat ze dat bewijs niet wilde leveren.

Chatterjee werd "met reden beëindigd", aldus een verklaring van Google die door woordvoerder Jason Freidenfelds werd gestuurd in antwoord op een vraag over hem. Bovendien werd Zoubin Ghahramani, vice-president van Google Research, door Freidenfelds geciteerd als zijnde dat het bedrijf "ons beleid voor een hoffelijk gesprek tussen onze onderzoekers stevig handhaaft." Ghahramani ging niet specifiek in op Chatterjee in zijn opmerkingen.

Het incident is het laatste in een reeks van recente interne geschillen bij Google die wijzen op de beroemde, op ingenieurs gerichte cultuur van het bedrijf, aangezien een startup het niet heeft voorbereid op een aantal problemen van een multinational met meer dan 100.000 werknemers.

Satrajit Chatterjee werd in 2018 door Google aangenomen als senior onderzoeker op het gebied van machine learning. Daarvoor was hij senior vice-president bij Intel en de hedgefirma Two Sigma. Mirhoseini en Goldie waren al in dienst bij de meest bekende machine learning-eenheid van het bedrijf, Google Brain, toen Chatterjee arriveerde. In de onderzoeksafdeling van Google sloot Chatterjee zich aan bij een ander, kleiner onderzoeksteam.

In het interne Goldie-document staat dat Chatterjee heeft gevraagd om het Morpheus-project in 2019 af te handelen, maar de twee vrouwen werkten niet rechtstreeks met hem samen. Werknemers beweren dat Chatterjee de bevindingen van het paar in twijfel begon te trekken met senior onderzoekers waarmee ze moesten samenwerken of steun moesten krijgen nadat ze beleefd waren afgewezen en suggereerden dat hun werk onnauwkeurig of zelfs vervalst was.

Chatterjee's vragen kunnen een impact hebben omdat hij een hogere werknemer is. Werknemers beweren dat als gevolg daarvan ander hoger personeel af en toe vraagtekens zette bij het werk van Goldie en Miroseini en de resultaten ervan.

Volgens ingewijden had dit tot gevolg dat het werk van Miroseini en Goldie bij Google een stressvolle, gespleten realiteit werd. Ze beweren dat het duo niet alleen een succesvol project beheerde met hulp van de chipontwerpers van Google, maar ook extra moeite moest doen om de beweringen dat hun bevindingen onnauwkeurig of zelfs nep waren, aan te pakken.

Omdat fabricage op nanoschaal duur is en fouten in een chip niet kunnen worden gecorrigeerd nadat deze in silicium is gesneden, zijn chipontwerpteams bij Google en elders doorgaans voorzichtig van aard. Volgens Google hebben TPU's de vooruitgang in zijn AI-onderzoek en -services mogelijk gemaakt. Het bedrijf huurt de processors via zijn clouddivisie. Zelfs nadat de hardwaremanagers van Google hadden besloten dat ze Morpheus voldoende vertrouwden om het te laten helpen bij het maken van de aankomende TPU's van het bedrijf, bleef Chatterjee er kritiek op hebben.

Een Google-medewerker vroeg of iemand machine learning had gebruikt om het ontwerp van printplaten te verbeteren in een bericht op een interne e-maillijst in mei 2021. Morpheus kan mogelijk helpen, antwoordde Mirhoseini. Chatterjee kwam echter tussenbeide en beweerde dat oudere technieken beter presteerden dan machine learning-tools en dat commercieel beschikbare chipontwerptools de beste resultaten opleverden.

Het debat werd vergezeld door Jeff Dean, Google's chef AI, die verklaarde dat Morpheus al werd gebruikt om de volgende generatie TPU-chips te ontwikkelen. Dean verklaarde dat het systeem de overhand heeft gehad in grondige tests tegen menselijke chipspecialisten en professionele chipontwerptools, en hij gaf ook een diavoorstelling van de bevindingen.

Dean verwees ook naar het zojuist uitgebrachte, peer-reviewed Nature-artikel van de groep. Het beweerde dat de TPU-circuitblokken nauwkeuriger waren gebouwd door de code van het Morpheus-team dan door Google-ontwikkelaars die commerciële chipontwerpsoftware gebruikten. De auteurs presenteerden ook gegevens voor een open source-processorontwerp dat voor iedereen openbaar beschikbaar is, maar de details van bepaalde chipgedeelten achterhielden omdat ze vertrouwelijk waren voor Google. De resultaten van het onderzoek werden later herhaald door een ander onderzoeksteam binnen Google en de code voor de experimenten was open source.

Volgens bronnen richtte Chatterjee zijn pijlen op de Nature-paper en begon hij samen te werken met co-auteurs van zowel binnen als buiten Google aan een publicatie die beweerde de conclusies ervan te weerleggen. Hij vroeg toestemming om het tegen het einde van 2021 buiten het bedrijf te verspreiden. Om het vermeende weerwoord te bestuderen en te beslissen over het lot ervan, richtte Google een speciale commissie op van vijf senior halfgeleiders en AI-specialisten buiten de managementketens van personen die bij het debat betrokken waren. Het team deed zijn best om de bevindingen van het Morpheus-team te dupliceren.

De vergelijkingen die in de Nature-publicatie worden gemaakt, worden in twijfel getrokken door een anonieme Chatterjee-paperversie die online werd vrijgegeven. Het beweert aan te tonen dat eerdere software voor het rangschikken van circuits op een chip beter zou kunnen presteren dan recentere software door bevindingen van verschillende onderzoeken met verschillende maatregelen te presenteren. Morpheus-algoritmen.

De commissie van Google stelde na drie maanden beoordeling vast dat Chatterjee zijn kritiek niet buiten de organisatie kon publiceren. De groep zei dat ondanks het niet volledig repliceren van Nature's onderzoek, de gepresenteerde resultaten en experimenten niet in tegenspraak waren met de publicatie. De commissie stond Chatterjee en zijn coauteurs echter toe om herzieningen aan te brengen in het manuscript.

De groep besloot in maart van dit jaar dat een nieuwe versie net iets beter was en nog steeds niet gepubliceerd kon worden. Volgens een e-mail van de commissie die door WIRED is verkregen, "moeten wetenschappelijke artikelen die uit Google-onderzoek komen, aan zeer strenge normen worden gehouden, en daarom heeft de commissie veel moeite gedaan om dit werk te beoordelen voordat ze een oordeel vellen." Chatterjee werd later in maart vrijgelaten.

In het document dat begin mei naar een interne discussielijst is gestuurd, verwijst Goldie naar de keuze van de commissie. Ze zei dat Google-functionarissen de beschuldigingen van Chatterjee hadden onderzocht en de resultaten van haar team hadden geverifieerd en geconcludeerd dat ze "absoluut onjuist waren".

Zoubin Ghahramani, vice-president onderzoek bij Google, mengde zich in het gesprek en prees Goldie. Daarnaast stuurde hij een persbericht dat Google naar The New York Times en later naar WIRED had gestuurd, waarin stond dat het bedrijf Natuuronderzoek ondersteunt en dat de auteurs hebben geholpen bij de ontwikkeling van effectievere en bruikbare AI-technologie. Aanvullende peer-reviewed artikelen over de techniek zijn gepubliceerd door de onderzoekers van het project, en gerelateerde octrooiaanvragen zijn ook ingediend.

Een andere bron met kennis van het debat had een andere mening en beweerde dat de steun van het Google-management van de oorspronkelijke studie het een uitdaging maakte om belangrijke problemen met chipontwerp in een weerlegging aan te pakken. Ze beweerden dat ze Chatterjee nooit ongepast hadden zien handelen.

Er waren eerder open interne geschillen bij Google over de onderwerpen die managers onderzoekers extern lieten publiceren. Na klachten over hoe Timnit Gebru en Margaret Mitchell, de leiders van het ethische AI-team van Google Brain, uit het bedrijf werden gezet, kondigde het bedrijf dit jaar aan dat het zijn beoordelingsproces vóór publicatie zal verbeteren. Een studieartikel dat ze samen met academici schreven en waarin kritiek werd geleverd op de kunstmatige intelligentie (AI)-technologie die wordt gebruikt in zoeken en andere Google-producten, werd geëist om te worden ingetrokken of om hun namen te laten verwijderen.

Een memo van Dean, het hoofd van AI van de organisatie, waarin stond dat het onderzoek van Gebru en Mitchell "niet voldeed aan onze drempel voor publicatie", werd bespot door enkele AI-experts, zowel binnen als buiten Google. Het controversiële onderzoek werd later goedgekeurd op een prestigieuze peer-reviewed conferentie, zonder Google-affiliaties, nadat duizenden Google-medewerkers en externe AI-professionals een openbare brief hadden ondertekend waarin ze het bedrijf aan de kaak stelden.

Of Chatterjee's paper officieel zal worden gepubliceerd of onderworpen aan externe peer review is niet bekend. Algoritmen van het project van Goldie en Mirhoseini worden nog steeds gebruikt binnen het bedrijf om te helpen bij het creëren van opkomende chipgeneraties.

We hopen dat deze gids je heeft geholpen om de spanning bij Google over het beëindigde gedrag van een AI-onderzoeker te verminderen. Nu kun je zonder problemen ontstressen bij Google over het beëindigde gedrag van een AI-onderzoeker. Als u een probleem heeft met Google. U kunt dus contact met ons opnemen. Bedankt : Google bellen Nederland.