Why LLM Advancements Have Slowed: The Low-Hanging Fruit Has Been Eaten
www.dbreunig.com
Reviewing the history of machine learning, we can both understand how LLMs advanced so quickly and why they’ve recently slowed. Three decades worth of Internet content and graphics innovations enabled a giant, quick leap. It’s slow going from here on out.

Dane z Internetu już ściągnęliśmy, a odpowiednie karty graficzne już wykorzystaliśmy

  • Małe własnościowe zbiory treningowe napędzają teraz postęp, a nie te wielkie i otwarte (ale: modele otwarte wciąż potrafią doganiać te własnościowe…)
  • Zyskują aplikacje niszowe, nie ogólne (np. generowanie światów)
  • Inteligencja osiągnęła płaskowyż, ale efektywność wzrasta dalej
  • W rozmowie z czatbotami korzysta się z agentów
  • Do uczenia maszynowego zaczyna się korzystać z nieużywanego dotąd sprzętu (także tańsze karty Nvidii, także te innych firm). Biblioteki na nie dojrzewają