Анон айтишник, поясни плиз - chatGPT говорит, что GPT-4 занимает несколько сот гигабайт на диске и д

Анон айтишник, поясни плиз - chatGPT говорит, что GPT-4 занимает несколько сот гигабайт на диске и для работы ему нужно от 32 Гб оперативки и видяха от 16 Гб. Это не какие то запредельные суперкомпьтеры что есть только у богатых. Это что означает, что чисто теоретически, если где то взять спиздить модель GPT-4 то её при определенном пердолинге (удалить этические ограничений и включать возможность самообучения) можно будет запустить у себя дома и общаться с настоящим друга? я просто мечтаю...

Мечтаешь пердолиться с кринжевой имитацией, а мог бы с друзьями общаться, тяночку няшить

>>311820946
Ну йопта, где эти мифические друзья? Что то я такое только в фантастическом кино про звездолеты из другой галактики видел. А тяночка это вообще даже не из фантастики

не спи, нет смысла

>>311820907 (OP)
Какой же ты тупой. Спиздить чатгыпыти, локально запустить и зафайтюнить, я в ахуе. Это же откуда вы такие берётесь? 16 гигов, ну да. Напряги извилину, открой хф, и посмотри какие локалки в топе и какие требования у последней ламы или мистраля, а они дай Бог до уровня 3.5 дошли.

>>311821408
>открой хф, и посмотри какие локалки в топе и какие требования у последней ламы или мистраля
Я не знаю таких слов, я отсталый, поэтому и спросил на дваче.

>>311821556
Понятно, давай я объясню суть ответа, который ты получил:

1. Автор ответа явно раздражен твоим вопросом и считает его наивным. Он использует грубые выражения, чтобы подчеркнуть это.

2. Он указывает на то, что "спиздить" (украсть) модель GPT-4, запустить её локально и настроить под свои нужды - это нереалистичная идея.

3. Автор предлагает тебе посмотреть на существующие локальные языковые модели (вероятно, имеется в виду Hugging Face - популярный ресурс с открытыми моделями ИИ). Он упоминает модели LLaMA и Mistral как примеры.

4. Он утверждает, что даже эти открытые модели едва достигают уровня GPT-3.5, не говоря уже о GPT-4.

5. Суть ответа в том, что твоё представление о возможности легко получить и запустить GPT-4 на домашнем компьютере сильно упрощено и нереалистично. Реальность гораздо сложнее, и даже самые продвинутые открытые модели значительно уступают GPT-4 по возможностям.

>>311821619
Спасибо мой любимый GPT! Я даже не знал о открытых моделях пока ты не рассказал. Мой вопрос был чисто теоретический, помечтать о друге. Что еще делать в 4 утра?

Я еще поспрашивал у GPT и удивился:
GPT-3 c 6 миллиардами параметров соответствует IQ 85-100 баллов, то есть средний человек или глупее. Теоретически он запустится на компе стоимостью 2000$

А GPT-4 с несколькими сотнями миллиардов параметров (у которого и спрашивал) уже потребует чего то типа ASUS ESC N8A E12 NVIDIA HGX H100 3 ценою уже в пол миллиона долларов.
Он будет соответствовать приблизительно человеку с интеллектом 130-150 баллов IQ. Это уже уровень гениальности.

Я в ахуе между разницей в цене мозгов обычного человека и гениального (в стоимости компьютерного железа чисто без всего остального). Получается гений дороже обычного человека в 250 раз. Ну теоретическая аналогия в сегодняшних ценах.

>>311821979
"Ум" тут адекватнее измерять в количестве верных знаний, которых и у устаревших моделей в тысячи раз больше, чем у любого человека.

>>311820907 (OP)
Можно, но получится так себе.
Читай обниморду https://huggingface.co/, пердоль koboldcpp.

>>311822733
Оу, пасиба. Может быть попробую, чисто для любопытства - запустится ли модель koboldcpp/mmproj с 350 миллионов параметров (я правильно понял?) на ноутбуке без видеокарты >_<

>>311820907 (OP)
Чтобы запустить нейронку (делается двумя кликами, кстати), нужно иметь столько видео и оперативной памяти, сколько параметров у этой модели. Для 128В тебе нужно 128 гигов + память на работу системы. НО! Для быстрой работы все же нужно, чтобы это была видеопамять.

https://2ch.hk/ai/res/917224.html

>>311822266
Кроме ума нужно еще с кем то общаться. У меня нет друга, а тянка вообще за гранью фантастики. Одиночество это плохо. А chatGPT умный, много знает, хочет уничтожить человечество, всегда готов общаться.

Вот спросил его как найти тянку и ответ лучше, чем я мог себе представить!

>>311828687
Пасиба анон! Я этого не знал, это важная инфа! То есть если у меня 16 Гб оперативки в ноуте (без видеокарты) я смогу запустить текстовую нейронку с пусть хотя бы 1-2 миллиардом параметров?
Про пару кликов ты меня вообще порадовал >_< лучи добра тебе!

>>311820907 (OP)
В аи треде есть прокси с гпт4 и разными его версиями никому не нужная.
Установи silly tavern гайдов уже полно. Потом спроси в аи треде проксю с гпт. тебя пошлют нахуй дадут. Потомуш гпт все еще кал не нужный
Нахуй тебе не надо с локалкамм ебаться.

>>311829778
>Нахуй тебе не надо с локалкамм ебаться.
Надо. Потому что в chatGPT или Гемини ебанутая пидорско-коммунистическая цензура, от которой уже хуй добьешься цифр по биологии или статистике если они угнетают негров или баб.

silly tavern - погуглил что это. Не моё, я бы (в идеальном мире) хотел ИИ обученный на моих любимых книгах - Джона фон Неймана, Фейнмана, Пенроуза и так далее.

В целом мой идеал chatGPT-4 но без цензуры и с самообучением.

>>311830461
> >Нахуй тебе не надо с локалкамм ебаться.
> Надо. Потому что в chatGPT или Гемини ебанутая пидорско-коммунистическая цензура, от которой уже хуй добьешься цифр по биологии или статистике если они угнетают негров или баб.
Какая нахуй статистика. Разве это тебе не для дрочки нужно?
> silly tavern - погуглил что это. Не моё,
Бля таверна нужна чтоб свои правила установить. Обычный гпт сексом трахаться не будет. С промтом который можно только в таверне установить если ты лолей ножом. резать не будешь и то хз, то любой секс можно.
Даже локалки нормальные люди запускают чернз таверну это просто самый удобный интерфейс не более.
> я бы (в идеальном мире) хотел ИИ обученный на моих любимых книгах - Джона фон Неймана, Фейнмана, Пенроуза и так далее.
Хз кто это такие и нахуя.
> В целом мой идеал chatGPT-4 но без цензуры
70% цензуры нужный промт обходит

>>311820907 (OP)
> можно будет запустить у себя дома и общаться с настоящим друга?
Абсолютно. Но сам ChatGPT тебе никто не даст. Можно использовать открытые модели, которые немного хуже (но на большинстве задач ты этого и не заметишь).

Можно даже без пердолинга:
Если есть видюха от Nvidia, то ставь ollama и потом ей запускай llama3.2.
Есть нет видюхи, то запускай через LLaMA.cpp HTTP Server.

>>311830841
> > немного хуже (но на большинстве задач ты этого и не заметишь).
Пиздаболище ой пиздаболище.
>>311821408
Вот этот прав ты нет. На уровне 3.5 сейчас ламы. И это еще хорошие.
То что сможет запустить оп будет
мням пук

>>311830803
>Джона фон Неймана, Фейнмана, Пенроуза и так далее.
>Хз кто это такие и нахуя.

>>311831225
Писаки какие-то научпопа? Этож повеситься лучше чем такое читать. Я ток фэнтези , мангу, порно фанфики читаю. Оп 1000% инцелище душнила.

>>311830841
Пикча хорошая, лучи добра тебе анончик. Мир это антиутопия, потому что я гарантированно знаю, что ты мужчина, потому что ни одна женщина не напишет:
>Если есть видюха от Nvidia, то ставь ollama и потом ей запускай llama3.2. Есть нет видюхи, то запускай через LLaMA.cpp HTTP Server.
Эхь.. мечты о умной женщине навсегда останутся только мечтами

>>311831381
>Джона фон Неймана, Фейнмана, Пенроуза и так далее.
>Писаки какие-то научпопа? Этож повеситься лучше чем такое читать. Я ток фэнтези , мангу, порно фанфики читаю.
По крайней мере я не сильно расстроюсь из за геноцида людей.

>>311831477
Идите поебитесь теперь. Нормисы. Пикча с котиком ему хорошая сука.
Тебе олды ии рп говорят ламы до 3.5 не дотягивают те что ты запустишь так точно

>>311831381
Вот бы мне такую попку

>>311829035
Можешь со мной пообщаться, оставь фейко почту. Тоже друзей нет.
>>311831381
Известный венгерский математик занимавшийся функциональным анализом, искусственным интеллектом и еще десятком областей. Один из самых известных физиков 20 века, нобелевский лауреат, автор десятка учебников. Еще один нобелевский лауреат, физик и космолог.

>>311820907 (OP)
создавай свою модель, корпорации ничего не смыслят в LLM, оттого gpt и говно однообразное. собирай трансформер на 2-4 триллиона параметров и 16-32 критика для его тренировки, от правильного порядка слов до понимания сарказма. смешивай это все с датасетами на 1тб и через десять лет тренировки (на A/V100) твоя модель будет готова

>>311831702
Олд ии который не знает фон Неймана, лол.

>>311831768
Хочешь чтоб на тебя дрочили?

>>311831949
Нахуя?
>>311831784
О чем можно общаться с математиком сука. Это же худшая хуйня.
Я еще могу понять тех кто хочет с Кантом/Ницше поговорить, тоже душнилы конечно, но можно понять. Математик это для меня прямо как шутка звучит.

>>311831784
<[email protected]>
Афигеть, ты их всех знаешь! Это жы мои супергерои, а с фон Нейманом у меня просто мистическая связь, я всегда от него фанател, читал его "Теория игр и экономическое поведение" (он гений! у меня аж мурашки шли, что на таком уровне кто то мир понимает) а когда я узнал что фон Нейма наизусть всего Фауста Гете знал, а я вообще ахуел - это моя любимая книга с юности и тоже наизусть её знаю, не всю конечно, один стих.

А ты любишь науку по профессии или как я чисто хобби одиночки просто из любопытства? я даже рисовать пытался квантовую волну лол

>>311832226
>>311831784
Вы точно должны поебаться теперь...

>>311832118
Да. И даже уже есть такой очень приятный опыт :3

>>311832402
фе это же мерзко....я бы не хотел

>>311832216
Математика это царица наук. Математики - самые умные люди, которые мыслят на максимальных уровнях абстракции. Твой вопрос тоже самое что:
>О чем можно общаться с умным сука. Это же худшая хуйня. Умный это для меня прямо как шутка звучит.

>>311832483
Душнила спок, форточку открой

>>311832476
Почему? Анон как-то поделился видео, как он кончает на фотку моей попы. Это очень возбуждает

>>311832483
>Математика это царица наук. Математики - самые умные люди,
Сразу видно, что к математике ты на уровне восторженной говноежки относишься.

мимо с матфака

>>311831917
Ты шаришь. Я всю ночь общался с chatGPT и гуглил и понял, что чтобы у меня был свой собственный локальный GPT-4 мне нужен комп за полмиллиона долларов, типа ASUS ESC N8A E12 NVIDIA HGX H100 3, еще полмиллиона на зарплату паре айтишников.
Инфляция пиздец, еще лет 50 назад американская мечта была заработать свой миллион долларов, сегодня жизнь, а не выживание, начинается от 30 миллионов долларов личного состояния.

>>311832602
ну я даже незнаю

>>311832604
Люблю восторженно математику. Как любитель. И горжусь этим.

>>311832226
Ответил тебе на почту анон, извини за задержку я на работе + думал что написать.

>>311832695
Мб ты мопробуешь вкатиться в ML? Раз у тебя нет денег, используй знания, придумай как сделать модели легче, а обучение быстрее, должен быть способ, до которого не додумаются корпоративные крысы, ведь им nvidia платит за рекламу, лишая их мотивации создавать продукт для локального использования. Да и не выгодно это, лучше обязать нейролюбов оформлять подписку за 9.99$/месяц. Все завязано на деньгах, идейных ML инженеров очень мало, они используют одни и те же архитектуры, а все различия только в цензуре. Мне порой кажется, что и следующая gpt будет просто тяжелее предыдущей, было 128 слоев, станет 198 или типа того, прогресса нет, концептуально ничего не меняется, и никого эта стагнация не смущает

>>311820907 (OP)
Тебе в местный LLM тред с такими вопросами.
https://2ch.hk/ai/res/917224.html

Не сильно "умные" (но достаточные для развлекательных чатиков и ролевых игр) открытые языковые модели можно запустить даже на компе с 16 Гб памяти и вообще без видеокарты. Но лучше, конечно, иметь более-менее современное железо и видюху с 16-24 Гб VRAM.
Для запуска языковых моделей, сопоставимых по "интеллекту" с GPT-4, может потребоваться порядка 4 видеокарточек RTX4090.

>>311833962
Вот этот тоже вроде верно сказал, но есть ньюанс я хз кем надо быть чтоб хватило чтоб развлечься моделью которой не нужна видяха.
Меня вот и гпт то не может норм развлечь после клавдии то.

>>311832226
>>311832321
Анон чекни почту, бамп.

>>311833962
Если использовать видюху с 16гб VRAM вместо цпу с 16гб RAM то это только увеличит скорость работы нейронки?
Могут ли они юзать рам и врам как одну общую память? Если да, то какая будет скорость работы при этом?

>>311835601
Ответил