Patrickův newsletter #72: Co nás čeká, nemine a mine?

Nálož informací k AI, abyste to měli všechno po kupě. A také nabídka workshopu…

Dobrý den

a vše nejlepšího do nového roku, pokud jste se ještě neslyšeli 🙂

Jaký bude rok 2024 s umělou inteligencí?

Ještě před tím, než se spolu půjdeme podívat, co nového se událo a ještě stane ve světě umělé inteligence, mám tu speciální nabídku:

---

Nabídka workshopu: Strategie AI pro firmy

Už delší dobu dělám aplikované brainstormingy či workshopy o umělé inteligenci pro firemní zákazníky. Nyní se mi uvolnil čas na dva další kurzy a tak je nabízím “veřejně”. Potřebujete se dozvědět, jak se AI dotkne vašeho podnikání, kde bude tlačit na náklady, kde na zaměstnance, jaké jsou hrozby či jaký dopad to bude mít na vaši konkurenci? Udělejme si na to společný workshop cca 2,5 hodiny, kdy si v menším kolektivu do cca 10 lidí řekneme, jak AI funguje a zkusíme promyslet právě ty dopady a příležitosti. Je to interaktivní SWOT analýza hrozeb a příležitostí pro konkrétní firmu, pro konkrétní případ. Zkušenosti mám jak s podniky, které poskytují služby, tak s výrobními fabrikami.
Workshop není o programování, ani nemá za účel naučit vás s konkrétním AI produktem (i když může, to je na dohodě), je to strategická rozvaha o tom, jaká bude pozice vaší firmy ve víru změn, které AI přinese a jaké technologie pro vás jsou vhodné či rizikové.
Cena ve vaší firmě: 10 000 Kč bez DPH, jeden volný termín najdeme v únoru, jeden v březnu.
Pokud vás to zaujalo, stačí odepsat na tento email (či zandl@marigold.cz) nebo mi psát/zavolat na 📞777677077 a dohodneme podrobnosti.

---

AI v roce 2024

Začátek roku je vždy vděčným momentem bilancování a předpovědí. Předpovědí proto, že do konce roku, kdy by se mělo kontrolovat, jak předpovědi dopadly, zbývá hodně času a za tu dobu si už nikdo na předpovědi nevzpomene. My se spolu dnes zastavíme u něčeho tak bouřlivě se rozvíjejícího, jako je umělá inteligence. A na pár predikcí si troufneme. A to se vším vědomím drzosti tohoto počínání. Však teprve před rokem a dvěma měsíci odstartoval ChatGPT společnosti OpenAI, který ve skutečnosti obor generativní umělé inteligence definoval, takže se snažíme předvídat, co nového se udá ve stejné době, jakou toto odvětví existuje…

Podívejme se nejdříve na obecnější trendy.

Personalizovaní chatboti

Víte, co se stane, když do AI chatbota natlačíte hromadu svých textů? Získá vaši osobnost. Bude se vyjadřovat, jako vy, chovat se jako vy a i kamarádi si budou myslet, že jim odpovídáte vy. Na přesvědčivé vyjadřování potřebuje AI model kolem sedmdesáti normostran, což není tak moc. Už dnes služba Delphi.AI umožňuje vytvořit váš digitální klon, zajímavější jsou ale klony historických osobností. Možnost popovídat si s Karlem Marxem o tom, proč věří v ozbrojenou vzpouru proletariátu je velmi Inspirativní.

Jenže ve skutečnosti budou personalizovaní chatboti zajímaví jako náhrada vaší osobnosti tam, kde se nebudete chtít angažovat. Vaším jménem a především vyjadřovacím stylem mohou připravit dokumenty, zodpovědět emaily a vůbec vám ušetřit mnoho času. Kam až tohle dojde? Až k tomu, kdy si chatbot vaší osobnosti bude vyměňovat s chatbotem vašich rodičů vyměňovat novinky z vašich životů? Nevěřte tomu, že do konce roku někdo takovou službu za 20 $ měsíčně nepředstaví…

Vlna AI videa

Obrázky generované umělou inteligencí byly jednou z prvních služeb generativní AI. Další takovou vlnou bude video. Společnosti jako Runway pracují na modelech AI, které umí vytvářet videa špičkové kvality na základě textového zadání. Zatím tato videa nejsou příliš dlouhá, ale prudce se zlepšují. Další služby umí vytvářet dubbing, přidat k existujícímu videu hlasovou stopu v jiném jazyce, která má přitom původní barvu hlasu. Společnost Synthesia umožňuje z krátkého vzoru videa vytvořit avatara herce z videa a donutit je dělat a říkat prakticky cokoliv ve 120 jazycích. Připomínám, že jde o britskou společnost Synthesia, ne tu pardubickou, i když i její produkty jistě také mnoho lidí donutí udělat cokoliv…

AI kriminalita a podvody

Vlna videí generovaných AI přináší své problémy. Tím prvním jsou deepfake - podvržená videa, která se tváří jako něco, čím nejsou. Objevují se ve vojenských konfliktech - deepfake video ukrajinského prezidenta Zielenského vyzývalo ukrajinské vojáky ke složení zbraní. A také ve volbách, nejnověji v těch Argentinských prezidentských dva kandidáti nelenili vytvořit falšená videa svého soka. Podobně tak u našich slovenských sousedů. A americké prezidentské volby, které tradičně slují neomezenými rozpočty a výronem kreativity? Tam s deepfake videi rovnou počítejte jako se samozřejmostí. A připravte se na to, že skutečné video od toho falešného nebudete schopni rozpoznat. Zda se něco takového stane u nás v nadcházejících eurounijních nebo krajských volbách? Určitě, jak na profesionální úrovni to bude, ještě uvidíme.

Druhým problémem je použití avatarů namísto herců. V posledním díle Indiana Jonese producenti digitálně vyladili věk a vzhled Harissona Forda, ale to je jen začátek. Proč by se napříště měli herce vůbec ptát na jeho souhlas, natož mu platit, když mohou jeho avatara nechat odehrát vpodstatě cokoliv? I to bylo jedno z témat loňské stávky ve filmovém průmyslu. Nakolik máte právo na digitální model své vlastní tváře a osobnosti?

AI copyright

Kdo drží autorská práva na dílo, které vytvořila umělá inteligence? Ten, kdo zadal umělé inteligenci úkol, ten kdo vytvořil jazykový model, ten, kdo provozuje počítač s modelem nebo snad autor dat, na kterých se model trénoval? Nebo jsou díla vytvořená umělou inteligencí veřejným vlastnictvím? Tohle bude zapeklitý spor. Vlastníci dat, na kterých se jazykové modely trénují, se jejich používání zdarma brání. Databanky fotek, archivy textů i sociální sítě blokují přístupy robotů, zejména těch, které považují za sběratele dat pro umělou inteligenci a jejich provozovatelé požadují za svá data peníze. Naopak se již objevil případ, kdy úřad ochrany autorských práv odmítl zaregistrovat k ochraně dílo, kde byla ve větším rozsahu použita umělá inteligence. Úřad prohlásil, že používání programu Midjourney bylo obdobou najímání výtvarného umělce, který vytvářel obrázky na základě krátkých textových pokynů a tudíž nemůže přiznat autorství tomu, kdo vydával textové pokyny. Nepřiznal je ani umělé inteligenci. Bude zajímavé sledovat, kam se debata vyvine.

Univerzální umělá inteligence a roboti

Umělá inteligence je dnes zatím jednoúčelová, na tu univerzální, která se bude umět učit, zatím čekáme. Již se ale objevují AI modely, které si umí poradít s více problémy, jsou takzvaně multimodální. Pokročilou multimodalitu slibuje model Gemini společnosti Google, ale to jsme teprve na začátku. Ty opravdové přelomy přijdou ve chvíli, kdy multimodální systémy budou skutečně univerzálními a navíc se nám je podaří dostat do robotů, kteří se budou schopni učit nové věci. Například napodobováním nás, lidí. Letos se ven téměř jistě dostanou AI modely, které o sobě budou tvrdit, že jsou univerzální. A důležité bude, nakolik skutečně univerzální budou.

Jaké jsou další trendy, když se podíváme více do hloubky?

Malé Velké Jazykové Modely LLM

Tak především se umělá inteligence stává “off-line”. Nové LLM se umí vejít kompletně do malých zařízení, například Samsung představil svůj nový mobilní telefon S24, který je vybavený menším modelem Google Gemini a umí všechny odpovědi generovat u sebe, nikoliv dotahávat z cloudu. Tak vám například stačí zakroužkovat nějaký předmět na fotce a AI v telefonu vám nejenom řekne, co to je, ale především vás odkáže na řadu podrobností, ty už ovšem online. Podobnou technologii embedded AI již nedávno ohlásil Apple, pro nějž prý bude AI hlavním námětem osmnácté verze operačního systému iOS. Tam by prý podobný model mohl být součástí Siri, která by konečně začala dávat pořádný smysl. Velké jazykové modely se zkrátka stávají malými. Svůj účel to ovšem nemá jen pro mobilní telefony.

Důležité je to i pro firemní zákazníky. Ti jsou citliví na to, aby se jejich data cpala do rozsáhlých modelů, které musí běžet v cloudu, jako je GPT. Menší jazykové modely sice nemusí být tak univerzální, ale mohou mít velmi rozsáhlou množinu úloh, na které poskytují podobně kvalitní výstupy, jako jejich plnotuční bratříčci. A přitom mohou běžet na omezené velikosti hardware. Gemini Nano má jednu setinu parametrů, co GPT-3.5, Phi2 od Microsoftu asi tak šedesátinu, větší Palmyra X asi pětinu.

Proto také není nikde řečeno, že svět musí ovládnout velmi velké modely a že je tu omezený prostor jen pro pár z nich. Zatím se zdá, že místo je i pro menší modely, které mohou být natrénovány na datech detailněji prověřených a vztažených přímo k ukolu, pro něž jsou určeny. Třeba právě modely Palmyra jsou dnes s oblibou používány v medicínských aplikacích.

Komplexita a energetická náročnost

Podstatnou záležitostí je komplexita ekosystému AI. Dnes je AI čistě cloudové řešení, které spotřebovává neuvěřitelné množství energie. Vygenerování jednoho obrázku v nejnovější verzi Dall-e 3 má údajně spotřebovat stejně elektřiny, jako nabití zcela vybitého iPhone. Nvidia podle odhadů dodala přes tři miliony čipů H100 používaných pro trénink AI. A jejich spotřeba je na úrovni 14 000 GWh, tedy mírně více, než je spotřeba Gruzie nebo Guatemaly. Tedy zhruba polovina loňské výroby elektřiny českých jaderných elektráren.

Z toho plynou dva závěry: pro serverovny s AI bude klíčové chlazení, mnohem důležitější, než u dnešních datacenter. Jeden RACK z tradičního datacentra má třicetinu spotřeby (a tedy i produkci odpadního tepla), než RACK pro AI. To je obrovský trh. A za druhé: přísun levné elektřiny bude pro další rozvoj umělé inteligence klíčový. Podle odhadů bude během patnácti let přes 80% spotřeby datacenter připadat na AI.

Není se tedy čemu divit, že přední hráči v AI investují do rozvoje energií a do slibných startupů slibujících buďto malé jaderné reaktory nebo fůzní reaktory. Sam Altman dlouhodobě podporuje startup Helion zaměřený na nukleární fůzi, který by měl svůj první reaktor předvést možná ještě letos a jehož dlouhodobým cílem je vyrábět elektřinu za 10 haléřů za kWh. Altman do Helionu celkově investoval už půl miliardy dolarů, firma je hodnocena ke čtyřem miliardám dolarů.

Podobně Altman investoval do společnosti OKLO zaměřené na mikroreaktory. Ta sfůzovala s jeho AltC do OKLO SPAC, firma byla oceněna na 850 milionů dolarů.

Podobně mají svá želízka v ohni Google Ventures a údajně se po trhu rozhlíží i Meta a Microsoft. Firem, které naskočily do malých reaktorů a fůze je celá řada, velmi zajimavá je ale pozice Německa. To totiž podpořilo v rámci své Energiewende výzkum tímto směrem a dnes existuje zhruba pětice nadějných a zainvestovaných německých startupů na tomto poli, zatímco třeba Izrael má jediný. Dobrý článek na toto téma má Forbes: # Who Will Lead The Age Of Fusion Energy?

Co z toho plyne? Především to, že tahounem čisté energetiky se stane umělá inteligence. Pravděpodobně ne tak, že by ji sama vynalezla, ale tak, že očekávání výnosů a technologických posunů plynoucích z AI donutí celou řadu subjektů včetně státních investovat do rozvoje moderních energetických zdrojů. V příštích pěti letech můžeme očekávat zásadní průlomy a obrovské změny v energetice v příštím čtvrtstoletí! Fakt, že jednotky firem již dnes spotřebovávají tolik elektřiny, jako menší státy a tyto firmy jsou schopné profinancovat obrovské náklady, bude obrovským transformačním impulsem.

Nedostatek dat

Nedostává se nejenom elektřiny, ale i dat, na kterých lze umělou inteligenci trénovat. Někdy před dvaceti lety jsem napsal větu “obsah je král, jen nevíme, komu a za co bude kralovat”. Narážel jsem na tehdejší okřídlené rčení o kralování obsahu. Vznikla celá řada obsahu, který se nepodařilo vytěžit finančně a firma skomírala. Dnes se ukazuje, že třeba takový Reddit nebo Quora, u nás méně známé weby s návštěvností kolem miliardy návštěv měsíčně, jsou atraktivním cílem pro vytěžení AI. A tyto weby se mu důsledně brání. Většina majitelů obsahu již vymyslela nějakou formu licenční politiky nebo naopak natvrdo odmítají svůj obsah s AI spojovat, což ale pravděpodobně rychle zlomí štědré peněženky majetných AI firem. Peněženky se otevírají spolu s tím, jak začíná být nedostatek obsahu k trénování, tedy nového a relativně kvalitního obsahu.

Šéf Open AI Sam Altman nedávno prohlásil, že očekává, že na trénink se budou používat v blízké budoucnosti syntetická data, tedy data uměle vytvořená. Je to dnes rychle rostoucí trh v AI ekosystému, má řešit problematiku ”předsudků”, jež jsou do AI zavlečeny prostřednictvím neetických nebo problematických vstupních dat.

Čipy

S čipy to ve světě po COVIDu není vůbec jednoduché. Obecně je jich nedostatek, který komplikuje obchodní válka mezi USA a Čínou projevující se vzájemným blokováním strategických technologií. Což znesnadňuje plynulou výrobu a vývoj nejpokročilejších čipů. Elon Musk sarkasticky prohlásil, že pokročilé GPU (čipy určené pro grafiku a AI) jsou k dostání hůře, než drogy. A tak zatímco výrobní cena Nvidia H100 je kolem 3500 dolarů, jeho prodejní cena se pohybuje kolem desetinásobku při přímém nákupu a v přeprodeji jej na eBay seženete ještě o další polovinu dráže. Máte tak jedinečnou šanci si PCIe slot vašeho PCčka osadit kartou za milion korun.

To je důvod, proč se všichni snaží rychle vytvořit vlastní GPU. Google jede svou řadu Tensor, Amazon se snaží pro svůj cloud rychle nabídnout procesory Trainium a Inferentia zaměřené na trénování dat a jejich ladění. Microsoft má řadu Maia a Meta zase MTIA, obojí je pro interní použití a není k dispozici mnoho detailů. Stejně tak Čína se snaží okopírovat H100 a její levnější verze a vytvořit vlastní AI GPU, své k tomu ještě řekne i Apple a také další firmy, zabývající se procesory. Neviděli jste někde Intel, pamatujete si někdo tu firmu vůbec? Ale jo, její nové procesory Core Ultra cílí i na AI.

Do businessu se navíc drsně tlačí Open AI, pro které je zjevně přístup k hiend GPU klíčový. Firma potažmo její šéf Sam Altman zainvestovala rozjezd startupu na design a výrobu GPU určených pro AI a snaží se rychle posouvat. A především se snaží zformovat alianci výrobců všeho potřebného, včetně zatím nejmenované fabriky na výrobu top hi-end čipů tak, aby se svět AI zbavil virtuální závislosti na společnosti Nvidia.

Jak taková závislost vypadá? Společnost Meta podle jejího šéfa Marka Zuckerberga bude mít do konce roku 2024 cca 320 000 procesorů Nvidia H100. Kdyby je koupila za prodejní cenu 30 000 USD, vydala by jen za nákup GPU 10 miliard dolarů. To jsou astronomické peníze!

A co Meta? Vlajkonoš otevřeného software! Nekecám!

A tím se plynule dostáváme ke společnosti Meta. Ta si před třemi lety změnila jméno z Facebook na Meta, aby tím zvýraznila, že není společností jednoho produktu a že očekává nástup Metaversa, plně virtuální reality. Do té za ty tři roky nasypala několik desítek miliard dolarů, aby výsledkem byl komunikační systém především pro firemní použití, jehož jméno jsem zapomněl. Už před těmi třemi lety jsem měl dojem, že to není to pravé ořechové, tedy technologie, kterou by každý chtěl a potřeboval a která by ospravedlnila ty mnohamiliardové výdaje a obecnou potřebnost. Metaversum je podle mne poražený roku 2023. Reality Labs, divize společnosti Meta zodpovědná za vývoj metaverza, měla jen za poslední rok ztrátu přes 11 miliard dolarů, celkově v projektu hučí ke třiceti miliardám dolarů. Roční tržby, jestli budou jedna miliarda, kdo ví, čísla se teprve chystají a podle těch kvartálních to nějak tak kolem miliardy dolarů bude.

Je tedy poraženým Meta a Mark Zuckerberg? To rozhodně ne. Společnost se okamžitě zorientovala a na modely LLM naskočila. Již dříve měla v rámci Reality Labs velkou skupinu věnující se AI a tahle skupina se rychle přeformovala na produkci LLM modelu LLAMA, který má mimochodem velmi dobré výsledky. Jeho dost podstatnou vlastností je, že jde o otevřený software. Firma Meta, která neslula zrovna otevřeným přístupem tam, kde by to mohlo erodovat její obchodní zájmy, je najednou vlajkonošem otevřeného software v něčem tak stěžejním, jako je AI model. Inu, buďto se můžete tlačit ve frontě za OpenAI a Googlem, nebo můžete být vlajkonošem na vlastním poli. A tak kolíkuje vlastní pole otevřeného software.

Proč je otevřený software v AI tak důležitý? Především proto, abychom pochopili, jak to celé vlastně funguje. A aby to mohlo fungovat tak, jak potřebujeme. Obrovským problémem pro budoucnost AI jsou “předsudky”, tedy předpoklady získané natrénováním na datech. Potřebujete tedy vědět, jaká data a jakým způsobem byly trénovány, abyste věděli, že AI rozhoduje správně. Pokud si například necháte vyhodnocovat životopisy uchazečů o práci, tak AI trénovaná na textech Tomio Okamury (ale i třeba takového Marka Twaina) znevýhodní uchazeče podle barvy pleti. Pokud do LLM modelů uvidíme, můžeme si být nějak jistí, jak k datům přistoupí. I to je důvod, proč u open source LLM nevyžaduje Evropská unie zveřejnění toho, jak funguje, otevřený kód je sám tím zveřejněním.

Zdá se, že AI může být silným impulsem pro rozmach otevřeného přístupu k software, protože u AI přináší řadu výhod, zejména důvěru a verifikovatelnost. A i když je to pro společnost Meta východisko z nouze, čapla příležitost za pačesy. Ostatně, Mark Zuckerberg v posledním roce neopominul příležitost, aby se ukázal jako erudovaný influencer v oblasti AI. Jenže vzpomínáte si, jak jej Sundar Pichai v roce 2021 pochválil za vizionářské průlomy v oblasti AI? Ve skutečnosti Meta s AI úplně minula terč, nechytila včas technologii transformátorů a LLM a dnes stěží dohání obrovskými investicemi.

Chcete mít svého AI přítele? Nebo přítelkyni?

Pro Metu je AI nebezpečná ještě jednou věcí. Rostoucím využíváním AI jako nejrůznějších forem sociálních vazeb, nejčastěji virtuálních přítelkyň. Existuje celá řada služeb, se kterými si můžete povídat o čemkoliv a ony se k vám chovají jako vaši virtuální přátelé. Včetně těch intimních. A velmi dobře se vám přizpůsobují, vaši potřebu komunikace rychle poznávají a respektují podstatně lépe, než skuteční lidé. To ale nahrazuje potřebu používat komunikační platformy Meta jako Facebook nebo Whatsapp.

Jak to bude s virtuálními osobnostmi, ještě uvidíme. Tento obor podstatně roste a musím říct, že podebatovat s Karlem Marxem o jeho politických názorech byl skutečně mimořádný zážitek, už jsem to zmínil výše. Samozřejmě šlo o virtuální osobnost vytvořenou umělou inteligencí, ale velmi přesně zaznamenanou a reprezentovanou. Kolik lidí neodolá tomu, popovídat si večer před spaním s virtuálním člověkem, zvláště, když bude možný i poněkud peprvnější rozhovor?

Tady vidím další velký trh.

Co dalšího se bude letos důležitého dít v AI? Velkou část jsme nakousli v minulých newsletterech, na příště chystám větší text o tématu vzdělávání a AI. Byl jsem uvnitř velkého skandinávského projektu zaměřeného na budoucnost vzdělávání a AI a musím říct, že dopady a důsledky jsem byl ohromen. Ale o tom si řekneme zase něco příště.

Takže, co budou další důležitá letošní AI témata?

1. AI v Zdravotnictví: Pokračující integrace AI do zdravotnických systémů, jako je personalizovaná medicína, diagnostika pomocí strojového učení, a automatizace administrativních úloh v zdravotnictví. AI může pomáhat lékařům při rozhodování o léčbě a předpovídání výsledků pro pacienty.

2. Udržitelnost a AI: Využití AI k řešení problémů udržitelnosti, včetně optimalizace využití energie, zlepšení zemědělských metod a podpora výzkumu obnovitelných zdrojů energie.

3. Edukační AI: Vývoj a implementace AI vzdělávacích nástrojů pro personalizované učení, které mohou napomáhat studentům učit se efektivněji na základě jejich individuálních potřeb a stylů učení.

4. Přirozené zpracování jazyka (NLP): Další vývoj v oblasti NLP umožní lepší porozumění a generování přirozeného jazyka, což otevře nové možnosti pro interakci mezi člověkem a počítačem. Ale zdá se, že i mezi člověkem a zvířaty, protože díky AI se naučíme lépe porozumět zvířatům.

5. AI v Obchodu a Marketingu: Využití AI pro lepší pochopení chování zákazníků, automatizaci marketingových kampaní, a vytváření personalizovaných zákaznických zážitků.

6. Etika a Regulace AI: S rostoucím vlivem AI v různých oblastech života se stává důležitým tématem diskuse o etice AI a potřeba regulace, aby bylo zajištěno spravedlivé a bezpečné používání AI technologií.

7. AI a Práce: Diskuse a vývojové trendy týkající se toho, jak AI mění pracovní místa, vytváří nové role a mění povahu práce.

Tak a to je pro dnešek vše :)

vše nejlepší do nového týdne i do nového roku přeje

Patrick Zandl