Менее чем через месяц будет год дневнику.
Сел тут наконец опробовать LLM (это те, которые ChatGPT и прочие).
Короткий вывод: прикольные игрушки. Далее подлиннее.
Главное, что нужно понять и откуда вытекают все минусы всех LLM, и это тот момент, который не исправляется никаким количеством тренировок или параметров или экспертов, потому что это собственно архитектурный принцип:
LLM не может сказать «нет»
Из этого вытекают все остальные минусы: галлюцинации, неспособность работать с точными числами или писать достоверно работающий код и так далее. Когда нейронка не может найти решение, она его выдумывает там, где человек просто покрутил бы пальцем у виска. В том числе очень хорошо выдумывает код, который не работает.
Еще из минусов — как любая нейронка, ограниченная мощностью токенизации входной строки, любая LLM довольно паршиво понимает свободную человеческую речь. То есть нет, понимает хорошо. Но — по-своему; ровно как все text-to-image нейронки нужно уметь убеждать делать то, что требуется, то же самое происходит и здесь.
Но есть и плюсы. Тот факт, что LLM очень хорошо галлюцинирует, делает ее очень хорошим собеседником (если сможете убедить ее делать то, что вам нужно) и помогает при рутинной работе с текстом (придумать название/имя/сгенерить сеттинг или быстрый сюжет на коленке)
Заменит ли LLM программистов? Нет. Писателей? Нет (ну может только плохих)
Я основываю свои наблюдения на локальных моделях, потому что мне не импонирует идея отправлять свои запросы куда-то на сервер. Все, что я запускал (llama2, mistral, wizard) — локальное, а так же со снятым слоем цензуры (потому что в большинстве случаев эта цензура абсолютно дубовая и бесмыссленная). Но ChatGPT архитектурно не отличается от других LLM, поэтому см. самый большой минус.
Из всего, что я попробовал, мне понравилось больше всего именно чатиться и устраивать ролеплей. Вот это реально очень круто. Неплохо выходит работа с текстом, суммаризация, тегирование, проверка правописания.
Из прочих новостей: по роману перевалил за первые две трети по объему. Планирую к концу января закончить все главы.
04.01.2025 в 02:37
Ещё библиотеки несуществующие выдумывает и подробные примеры из них пишет ) Но в целом потихоньку исправляется. Ещё лучше, когда используешь на реальной кодовой базе (Copilot и тому подобные), тут галлюционаций практически не бывает, но сам он мало что придумывает, копирует то, что уже есть. Вообще галлюцинации частично исправляются, когда просишь приводить везде ссылки на документацию.
неспособность работать с точными числами
Вообще считает. На питончике, chatgpt умеет его выполнять внутри себя (и демонстрирует даже).
мне не импонирует идея отправлять свои запросы куда-то на сервер
Я спрашиваю у них такие обезличенные вещи, что не боюсь, даже если бы они это где-то использовали/ увидели. Chatgpt с подпиской позволяет посмотреть, что он о тебе помнит и стереть лишние данные. Или поставить галочку, чтобы он ничего не запоминал о тебе (для более дорогих и корпоративного тарифов они даже по умолчанию её ставят). Мне приятней, когда он помнит, о чём мы говорили раньше, меньше приходится объяснять заново.
Заменит ли LLM программистов?
Я вижу, как используют его в разных областях и делают некоторые вещи, ради которых раньше нужны были навыки кодинга. Типа пишут небольшие скриптики для парсинга, работы с файлами и наведения порядка на жётском диске и т.п. Уже вполне работает в этом случае. Какие-то даже плюс-минус полноценные программы пишут. Непонятно, замена это программиста или нет. Может быть, в каких-то случаях делали бы заказ у фрилансеров, а теперь не делают, а может быть, забили бы и сделали руками, если бы не LLM.
04.01.2025 в 13:07
Wild Card
Ща, я издалека зайду. Чем джун отличается от миддла, миддл от сеньора, сеньор от лида, а лид от техдира? У миддла просто больше опыта и ему можно поручить задачи покрупнее, сеньора уже не нужно особо контролировать, лид сам контролирует других, а техдир вовсе выстроил процессы так, что все само крутится-вертится.
Так вот, нейронки на текущий момент — это такой очень плохонький джун, чуть лучше стажера. А любой, кто с джунами работал, знает, что джун — это потеря времени в обмен на будущие дивиденды.
Потому что вот на левой руке «решить задачу джуном»: из головы и бизнес-требований вытащить в понятном человекочитаемом виде требования, обдумать корнер-кейсы, базируясь на собственном знании продукта (которого у джуна нет, напомню, и я не имею в виду кодобазу, а больше риск-менеджмент и прочие радости), загрузить это в джуна, проконтролировать полезный выхлоп и в случае с нейронкой своими руками дальше провести это через QA и деливери.
А на правой руке «сделать самому» — не приходя в сознание закодить и заделиверить. И в большинстве случаев это сильно быстрее, потому что убирается большая часть ненужной трансляции в человеческий и обратно.
И если в случае с джуном джун обучается и через годик-другой из него будет миддл и это уже будет положительный баланс по времязатратам, то нейронка как была тупая, так и останется. То есть как я уже говорил, нейронка экономит лишь время в плане написания кода, а это 20% от силы всей работы. К счастью, в 2024-м никто не ставит метрики по количеству строк кода в единицу времени; сейчас метрики — это время и деньги.
Теперь об отправке данных на сервер — ты просто не знаешь и никогда не узнаешь, что там правда хранится, а что нет, и в каком виде. И дело даже не в том, что в случае чего термзами можно просто подтереться, просто это классика security through obscurity. Никто никогда не придет и не проверит. Поэтому спасибо, но нет, предпочитаю локальные модели.
04.01.2025 в 14:10
С этим полностью согласен.
Поэтому спасибо, но нет, предпочитаю локальные модели.
Ну, если спрашиваешь только то, что касается кода/перевода и т.п. или вообще разрабатываешь опенсорс, навредить это никак не может ) А личные, чувсвительные данные почти никаким онлайн-сервисам и без того не стоит доверять. Openai даже сами об этом пишут. Был же скандал в начале, когда chatgpt цитировал что-то из личных данных людей, которые кто-то ему передал или ему их случайно скормили при обучении, но потом это поправили. Номера кредитных карт и пароли доверять им, конечно, не стоит. А в остальном мне всё равно ) Я даже временными чатами не пользуюсь особо. Там можно сделать, чтобы чат исчезал вскоре после сессии.
Claude в этом смысле даже пошли дальше, они выкладывали в открытый доступ интсрукции, которые они используют для своих моделей. И в целом всё более прозрачно. Иногда даже слишком много ограничений, так что они в Европе долго не могли запуститься из-за персональных данных.