Megtudtuk az OpenAI volt mérnökétől a nagy titkokat!

#szoftvertesztelés #webfejlesztés #állás #thisisonlyatest A beszélgetésben erről a videóról van szó:    • Deep Dive into LLMs like ChatGPT   Ma egy olyan videóval fogunk foglalkozni, amit mind a ketten megnéztünk, és már nagyon vártuk, hogy beszélhessünk róla, mert hogy az OpenAI-nál korábban dolgozó egyik kutató, Andrej Karpati, csinált, mindig úgy van, amikor ő két állás között van, nem tudom, megfigyelted-e, akkor jönnek mindig ki a nagy videói. Csinált most is egy nagyobb videót, három és fél órás videót, arról, hogy hogyan működik a ChatGPT. Most mind a ketten megnéztük ezt a videót, te egy kicsit technikaibb oldalról fogtad meg a dolgot, én pedig jegyzeteltem egy pár oldalt, és ezeket gondoltuk átbeszélni veletek. Igyekszünk rövidre fogni, tehát nagyjából egy órában megpróbáljuk bele sűríteni, meg amennyire lehet, megpróbálunk belemenni a technikai részletekbe, hogy azért elmondjuk, hogy mik voltak azok az eddig nem kimondott, de azért tudott dolgok, amiket felfedeztünk ebben a videóban, hiszen az OpenAI a nevével ellentétben nagyon sokszor nem publikált dolgokat arra, hogy hogyan működik a saját AI megoldásuk, és rengeteg mindenre most itt ebből a videóból fényderülhetett. A videóban részletesen bemutatja, hogy ezek a modellek egy ilyen egydimenziós sorozatra számítanak, és amit ott látnak, ez a szöveg, ez egy ilyen többdimenziós nyelvi szintaktika. A neurális háló az ugye az emberi agyat igyekezett másolni, ebből indultak ki. Az emberi agy úgy néz ki, nagyon vázlatosan, hogy vannak ezek a neurónok, és ezek össze vannak kötve, akszonok, meg dendritek, és ezért a neurális hálóban a paraméterek száma hatalmas, ami lehetővé teszi a modellek számára, hogy egyre pontosabb válaszokat adjanak. Az AI fejlődése tehát nemcsak technikai, hanem etikai kérdéseket is felvet, hiszen a modellek tanítása során felmerülnek a kérdések, hogy honnan származnak az adatok, és hogyan használják fel őket. A videó végén pedig a jövőbeli fejlődési irányokat is érintjük, hogy milyen kihívásokkal néznek szembe a kutatók és a fejlesztők a mesterséges intelligencia területén. Csatlakozz hozzánk, és fedezd fel a ChatGPT titkait! Áront megtaláljátok itt: Youtube:    / @tokeletlenek   Discord:   / discord   Teszteljük le Linkek: Discord:   / discord   Twitch:   / teszteljukle_csabi   Weboldal (0toHero kurzus): https://thisisonlyatest.site Magyar nyelvű weboldal: https://teszteljukle.hu 00:00:00 - Bevezető 00:00:20 - A ChatGPT működése 00:01:09 - A neurális hálók és a tokenizáció 00:02:03 - Az adatgyűjtés és a scraping 00:09:12 - A neurális hálók működése 00:15:22 - A tokenizáció és a tömörítés 00:17:32 - A GPT modellek és a paraméterek 00:20:36 - A neurális hálók rétegei és a súlyok 00:22:34 - A modell betanítása és a szükséges erőforrások 00:23:32 - A neurális hálók és a videókártyák 00:24:13 - A Big Tech és az adatok 00:27:13 - Az agentek és a base modellek 00:30:28 - A base modellek továbbfejlesztése 00:30:28 - Az agentek szerepe és a fused training 00:30:28 - Az agentek személyiségének kialakítása 00:34:05 - A BASE modellek betanítása 00:34:22 - A BASE modellek skálázása 00:39:45 - A modellek és a filozófia 00:41:17 - Az AI fejlesztők kreativitása 00:42:09 - A modellek kontrollja 00:42:25 - A modellek korlátai 00:42:53 - A modellek működése és a matematika 00:43:29 - A modellek biztonsága és a cyber security 00:43:56 - A modellek és a rossz használat 00:44:03 - A modellek és az etika 00:46:05 - A halucinálás és a modellek 00:46:43 - A modellek megértése és az AI fejlesztők 00:49:12 - A modellek és a hibák 00:50:10 - A modellek és a DeepSeek 00:51:05 - A modellek és a válaszok 00:51:29 - Az adatbázisok és a hibák 00:52:08 - A posttraining és a reinforcement learning 00:53:53 - A modellek fejlődésének jövője 00:54:21 - A GPT modellek jelentése 00:55:28 - A modellek üzleti haszna 01:01:05 - A modellek megbízhatósága 01:01:39 - A modellek etikai irányelvei 01:02:18 - A modellek és a támadási módszerek 01:03:27 - Záró gondolatok