Partnerstwo Microsoft OpenAI zrodziło się z zazdrości Google

Okazuje się, że dzisiejszy krajobraz sztucznej inteligencji ma swoje korzenie w strachu, zazdrości i intensywnych ambicjach kapitalistycznych. Najpierw e-maile ujawnione w sprawie antymonopolowej prowadzonej przez Departament Sprawiedliwości przeciwko Google wspomniany przez Interesuje się handlem, pokazuje, jak kadra kierownicza Microsoftu wyraża swoją irytację i zazdrość w związku z postępem Google w dziedzinie sztucznej inteligencji. Stworzyło to pilną potrzebę, która skłoniła producenta systemu Windows do zainwestowania początkowej kwoty 1 miliarda dolarów w swojego obecnie niezastąpionego partnera, firmę OpenAI.

W mocno zredagowanej serii e-maili z 2019 r. zatytułowanej „Myśli o OpenAI” dyrektor generalny Microsoft Satya Nadella wysyła długi list od CTO Kevina Scotta do CFO Amy Hood. „Bardzo dobry e-mail wyjaśniający, dlaczego chcę, żebyśmy to zrobili… i dlaczego dopilnujemy, aby nasi pracownicy ds. infrastruktury to zrobili” – napisał Nadella.

Scott napisał, że jest „głęboko zaniepokojony” szybko rosnącymi możliwościami Google w zakresie sztucznej inteligencji. Mówi, że początkowo odrzucił oferowane przez firmę „ekscytujące gry z rozgrywką”, co prawdopodobnie było nawiązaniem do modeli AlphaGo firmy Google. Jeden z nich pokonał mistrza świata Go Ke Jie w 2017 r., co było wówczas imponującym wyczynem. (Późniejsze modele Google wyszły poza ten model, całkowicie eliminując potrzebę szkolenia ludzi).

Scott twierdzi jednak, że ignorowanie postępów Google w dziedzinie gier „było błędem”. „Kiedy przejęli całą zbudowaną przez siebie infrastrukturę [natural language] „Modele, których nie mogliśmy łatwo odtworzyć, zaczęły traktować wszystko poważniej” – napisał Scott. „Kiedy zagłębiałem się w próbę zrozumienia, gdzie znajdują się luki w możliwościach między Google a nami w zakresie szkoleń modułowych, poczułem się bardzo, bardzo zaniepokojony”.

Scott wspomina, jak Microsoft miał trudności ze skopiowaniem dużego modelu Google BERT, modelu sztucznej inteligencji, który dekoduje znaczenie i kontekst słów w zdaniu. Scott obwiniał skoki w infrastrukturze dokonane przez swojego konkurenta, czego nie zrobił Microsoft.

„Okazało się, że sama replikacja dużego modelu BERT nie była dla nas łatwa. „Mimo że mieliśmy model, wytrenowanie modelu zajęło nam około 6 miesięcy, ponieważ nasza infrastruktura nie sprostała temu zadaniu” – CTO firmy Microsoft. napisał: „Google miał BERT wcześniej przez co najmniej sześć miesięcy, więc w czasie, jaki zajęło nam wspólne opracowywanie możliwości wytrenowania modelu o parametrach 340M, oni mieli rok na wymyślenie, jak wprowadzić go do produkcji i posunąć się dalej. do szerszych, ciekawszych modeli.

Wyraził także swój podziw i zazdrość w stosunku do funkcji autouzupełniania Gmaila, które oferuje Google, stwierdzając, że „stają się one przerażająco dobre”. Skomentował, że Microsoft „był kilka lat w tyle za konkurencją pod względem… [machine learning] Volume.” Skomentował „interesujący” rozwój OpenAI, DeepMind i Google Brain.

Scott pochwalił „bardzo inteligentnych” pracowników Microsoftu w zespołach zajmujących się uczeniem maszynowym, ale stwierdził, że ich ambicje zostały ograniczone. „Jednak podstawowe zespoły zajmujące się głębokim uczeniem się w każdym z tych dużych zespołów są bardzo małe, a ich ambicje również zostały ograniczone, co oznacza, że ​​nawet gdy zaczniemy zapewniać im zasoby, nadal będą musieli przejść proces uczenia się, aby skalować pracę”. Scott napisał. „A pod względem skali uczenia maszynowego jesteśmy kilka lat za konkurencją”.

Po tym, jak Hood nalegał, aby Scott miał wątpliwości „dlaczego chcę, żebyśmy to zrobili”, czyli inwestowanie w OpenAI, firma spełniła życzenie swojego dyrektora generalnego. W 2019 roku Microsoft zainwestował 1 miliard dolarów w start-up kierowany przez Sama Altmana, a reszta to szybko zmieniająca się historia. (Obecnie zainwestował 13 miliardów dolarów.) To technologia, która dokonuje niesamowitych rzeczy, ale grozi zniszczeniem rynku pracy i daje kaznodziejom najpotężniejsze narzędzie w historii, która była już i tak szerzącą się dezinformacją.