Trudno powiedzieć, jak to jest z tym przetrenowaniem. Do niedawna za optymalną proporcję ilości danych treningowych do rozmiaru modelu uznawało się tzw. Chinchilla Point.
Później LLama 3 została wytrenowana na znacznie większej liczbie tokenów i jakość modelu nadal wzrosła.
Ciekawi mnie jak ocenia się zajętość pamięci AI. Kiedyś mówiło się o przetrenowaniu. Ale to chyba inny problem.
Trudno powiedzieć, jak to jest z tym przetrenowaniem. Do niedawna za optymalną proporcję ilości danych treningowych do rozmiaru modelu uznawało się tzw. Chinchilla Point.
Później LLama 3 została wytrenowana na znacznie większej liczbie tokenów i jakość modelu nadal wzrosła.