Tak bing chat je neplacený, ale měla by to být nějaká odnož GPT-4.

Už mám hezkých jedenáct kilo kódu, to není špatný na to, že neznám funkce, syntaxi, žádné balíčky, nic, k pythonu jsem přečetl v podstatě jen úvod, skončil jsem někde na filozofii fungování proměnných, co už jsem zapomněl, a vím, že v něm záleží na odsazování. :D

https://pastecode.io/s/dt5a1cnk

Ono asi záleží na tom, v čem to člověk chce. S autohotkey má těžké problémy, ale kódu v p...
Tento příspěvek je dlouhý. Klikněte pro zobrazení celého příspěvku.

Tak bing chat je neplacený, ale měla by to být nějaká odnož GPT-4.

Už mám hezkých jedenáct kilo kódu, to není špatný na to, že neznám funkce, syntaxi, žádné balíčky, nic, k pythonu jsem přečetl v podstatě jen úvod, skončil jsem někde na filozofii fungování proměnných, co už jsem zapomněl, a vím, že v něm záleží na odsazování.

[odkaz]

Ono asi záleží na tom, v čem to člověk chce. S autohotkey má těžké problémy, ale kódu v pythonu a balíčků na něj na všechno možné jsou všude tuny. Tam mi to bez problémů hrne kódy, co jsou funkční, spíš jsem ho dvě hodiny musel přemlouvat, aby udělal použitelné GUI na vyskakovací okno. Ale i to se pak povedlo, včetně takových špeků, jako správné pořadí focusu u tlačítek na ovládání tabulátorem.

Víceméně mi to fungovalo stejně jako programátor, kterému metodou pokus – omyl zadávám úkoly, a on to přepracovává, s tím rozdílem, že když to předělává podvacáté, tak u toho nedržkuje. Otázka je, jak moc se přitom nasírá a kdy nám to pak spočítá.

Na nějaké složité a kritické kódy to není (i když i to by se asi do jisté míry dalo, když se to rozseká na krátké procedury a funkce). Ale už kuju pikle a mám velké plány s tím, co mi všechno naprogramuje, k čemu jsem se nedostal.
EDIT: adams - 06.07.2023 17:05:47

Zkrátit dlouhý příspěvek.

Adams ne. Tyhle hracky (pro realny zaklad koukni tu https://en.wikipedia.org/wiki/Transformer_(machine_learning_model) co se tyce ChatGPT) funguji tak, ze mas za sebou rady a rady huste propojenych "neuronu", pricemz kazdy vstup ma nejakou vahu (ta se trenuje) a po vyscitani vsech vstupu to projde nejakou aktivacni funkci, ktera z toho udela vystup. A tak dale.

U realne site mas tehle koeficientu (muzes si je predstavit jako mnoho matic s cisly) od jednotek miliard az...
Tento příspěvek je dlouhý. Klikněte pro zobrazení celého příspěvku.

Adams ne. Tyhle hracky (pro realny zaklad koukni tu [odkaz] co se tyce ChatGPT) funguji tak, ze mas za sebou rady a rady huste propojenych "neuronu", pricemz kazdy vstup ma nejakou vahu (ta se trenuje) a po vyscitani vsech vstupu to projde nejakou aktivacni funkci, ktera z toho udela vystup. A tak dale.

U realne site mas tehle koeficientu (muzes si je predstavit jako mnoho matic s cisly) od jednotek miliard az mnohem vys, a jistym postupem (hledej Gradiend descend) tyhle hodnoty trenujes, aby vystup na treningove vstupy dal to, co ma dat. Coz je strasne moc pomale (a ma i dalsi nectnosti ktere si nejdes v literature), ale jednou to musis udelat pro natrenovani zakladniho modelu na tom ooobrovskem mnozstvi dat.

Jenze tohle ti da hruby model, co hodne halucinuje, nedrzi pozornost, hazi vysledky. Nebo je obecny, a ty ho chces dotrenovat na neco specifickeho, treba jako chatbota co zna tvoje produkty. Dotrenovavat ten monstrozni model je tezke, muzes pri nem prijit o puvodni trening, pomale a zbytecne.
Ale zjistilo se, ze kdyz v tomhle modelu (mas tam stovky+ ruznych vrstev) vhodne vyberes treba jen par, a dotrenovavas koeficienty jen v nich, tak ono to vlastne funguje taky, rychle, snadno. A navic ty nemusis prepsat tu vrstvu, ty proste trenujes druhou matici, kterou ve finale k te "velke" jen prictes a koeficienty se sectou.

No a pak se treba zjistilo, ze kdyz (u obrazku) mas tuhle matici treba 256x256x4, tak neni az tak uplne treba ani trenovat vsechn 65536x4 koeficientu, ale da se to jeste zjednodusit, kdy trenujes treba 2 matice 256x1 a 1x256 ktere pred prictenim k matici toho modelu vynasobis na 256x256, ale pritom drzis jen 512 cisel - tohle konkretne je zakladni princip LoRA (Low Rank matrix Adaptation)
A tehle adaptaci muzes do te velke neuronky vetknout klidne i vic (u stable diffusion: jedna dela postoj postavy, druha ji dela nadprirozene velky kozy, treti anime vlasy) a vetsinou se to chova dobre. Uplne stejne jedna z adaptaci muze byt natrenovana na odmitani zavadnych veci. apod.



Zkrátit dlouhý příspěvek.

Kulveit mi pripomina takove ty pijavice, ktere se pricucnou k tomu fondu, pramenu a reknou cokoliv poplatne tomu kdo plati.
Jinak rozhovor o hovne, nedozvedel jsem se nic noveho, mozna pro blby plebs cumici do bedny, pokud ma teda IQ pochopit o cem mluvi.

Jan Kulveit je vědec, který působí na Oxfordu. V Praze vystudoval gymnázium a poté obor teoretická fyzika na Univerzitě Karlově. Pracoval na Akademii věd, následně se přesunul do Velké Británie a usadil se na univerzit...
Tento příspěvek je dlouhý. Klikněte pro zobrazení celého příspěvku.

Kulveit mi pripomina takove ty pijavice, ktere se pricucnou k tomu fondu, pramenu a reknou cokoliv poplatne tomu kdo plati.
Jinak rozhovor o hovne, nedozvedel jsem se nic noveho, mozna pro blby plebs cumici do bedny, pokud ma teda IQ pochopit o cem mluvi.

Jan Kulveit je vědec, který působí na Oxfordu. V Praze vystudoval gymnázium a poté obor teoretická fyzika na Univerzitě Karlově. Pracoval na Akademii věd, následně se přesunul do Velké Británie a usadil se na univerzitě v Oxfordu. Ve vědecké činnosti usiluje o humanistický přesah. Je členem Spolku pro efektivní altruismus, který se zaměřuje na řešení globálních problémů pomocí vědeckých a racionálních metod. Vedle toho působí v Institutu pro budoucnost lidstva, což je výzkumné centrum patřící pod Oxford, které sdružuje různé vědecké disciplíny od matematiky po filozofii a zabývá se obecnými otázkami spojenými s lidstvem a jeho budoucností.
Během pandemie covidu pracoval Kulveit na modelech, jak se bude pandemie celosvětově vyvíjet. Rovněž je spoluzakladatelem systému, který udává vhodná opatření dle rozsahu epidemie. Z tohoto systému se později vyvinul systém PES, kterým se řídí česká vláda. Na jaře roku 2021 Kulveit varoval hlavně před dovozem nových a nebezpečnějších mutací ze zahraničí a před jejich podceňováním, které může vést k novým lockdownům. Podporuje očkování, které výrazně zmírňuje průběh nemoci a účinkuje také na nové mutace.
[odkaz]

No do pice, tak ten je na tom podobne, jako A, samo u novych mutaci byl uplne vedle, necekane.
EDIT: fu - 05.04.2023 8:00:07
EDIT: fu - 05.04.2023 8:07:20

Zkrátit dlouhý příspěvek.