Без $100 ярдов в ИИ теперь делать нечего. В гонке ИИ-лидеров могут выиграть лишь большие батальоны.

Только ‎за‏ ‎последние ‎недели ‎было ‎объявлено, ‎что‏ ‎по ‎$100‏ ‎ярдов‏ ‎инвестируют ‎в ‎железо‏ ‎для ‎ИИ‏ ‎Microsoft, ‎Intel, ‎SoftBank ‎и‏ ‎MGX‏ ‎(новый ‎инвестфонд‏ ‎в ‎Абу-Даби).

А‏ ‎на ‎этой ‎неделе, ‎наконец, ‎сказал‏ ‎свое‏ ‎слово ‎и‏ ‎Google. ‎Причем‏ ‎было ‎сказано ‎не ‎просто ‎о‏ ‎вступлении‏ ‎в‏ ‎ИИ-гонку ‎ценой‏ ‎в ‎$100‏ ‎ярдов, ‎а‏ ‎о‏ ‎намерении ‎ее‏ ‎выиграть, ‎собрав ‎еще ‎бОльшие ‎батальоны‏ ‎— ‎инвестировав‏ ‎больше‏ ‎$100 ‎ярдов.

Гендир ‎Google‏ ‎DeepMind ‎Демис‏ ‎Хассабис ‎сказал:

• «… я ‎думаю, ‎что‏ ‎со‏ ‎временем ‎мы‏ ‎инвестируем ‎больше»

• «Alphabet‏ ‎Inc. ‎обладает ‎превосходной ‎вычислительной ‎мощностью‏ ‎по‏ ‎сравнению ‎с‏ ‎конкурентами, ‎включая‏ ‎Microsoft»

• «… у ‎Google ‎было ‎и ‎остается‏ ‎больше‏ ‎всего‏ ‎компьютеров»

Так ‎что‏ ‎в ‎«железе»‏ ‎Google ‎не‏ ‎собирается‏ ‎уступать ‎никому,‏ ‎а ‎в ‎алгоритмах, ‎— ‎тем‏ ‎более.

Что ‎тут‏ ‎же‏ ‎получило ‎подтверждение ‎в‏ ‎опубликованном ‎Google‏ ‎алгоритме ‎«Бесконечного ‎внимания», ‎позволяющего‏ ‎трансформерным‏ ‎LLM ‎на‏ ‎«железе» ‎c‏ ‎ограниченной ‎производительностью ‎и ‎размером ‎памяти‏ ‎эффективно‏ ‎обрабатывать ‎контекст‏ ‎бесконечного ‎размера.

Такое‏ ‎масштабирование ‎может ‎в ‎ближней ‎перспективе‏ ‎дать‏ ‎ИИ‏ ‎возможность ‎стать‏ ‎воистину ‎всезнающим.‏ ‎Т.е. ‎способным‏ ‎анализировать‏ ‎и ‎обобщать‏ ‎контекст ‎просто ‎немеряного ‎размера.

Так ‎и‏ ‎видится ‎кейс,‏ ‎когда‏ ‎на ‎вход ‎модели‏ ‎подадут ‎все‏ ‎накопленные ‎человечеством ‎знания, ‎например,‏ ‎по‏ ‎физике ‎и‏ ‎попросят ‎ее‏ ‎сказать, ‎чего ‎в ‎этих ‎знаниях‏ ‎не‏ ‎хватает.