Менее чем через месяц будет год дневнику.
Сел тут наконец опробовать LLM (это те, которые ChatGPT и прочие).
Короткий вывод: прикольные игрушки. Далее подлиннее.
Главное, что нужно понять и откуда вытекают все минусы всех LLM, и это тот момент, который не исправляется никаким количеством тренировок или параметров или экспертов, потому что это собственно архитектурный принцип:
LLM не может сказать «нет»
Из этого вытекают все остальные минусы: галлюцинации, неспособность работать с точными числами или писать достоверно работающий код и так далее. Когда нейронка не может найти решение, она его выдумывает там, где человек просто покрутил бы пальцем у виска. В том числе очень хорошо выдумывает код, который не работает.
Еще из минусов — как любая нейронка, ограниченная мощностью токенизации входной строки, любая LLM довольно паршиво понимает свободную человеческую речь. То есть нет, понимает хорошо. Но — по-своему; ровно как все text-to-image нейронки нужно уметь убеждать делать то, что требуется, то же самое происходит и здесь.
Но есть и плюсы. Тот факт, что LLM очень хорошо галлюцинирует, делает ее очень хорошим собеседником (если сможете убедить ее делать то, что вам нужно) и помогает при рутинной работе с текстом (придумать название/имя/сгенерить сеттинг или быстрый сюжет на коленке)
Заменит ли LLM программистов? Нет. Писателей? Нет (ну может только плохих)
Я основываю свои наблюдения на локальных моделях, потому что мне не импонирует идея отправлять свои запросы куда-то на сервер. Все, что я запускал (llama2, mistral, wizard) — локальное, а так же со снятым слоем цензуры (потому что в большинстве случаев эта цензура абсолютно дубовая и бесмыссленная). Но ChatGPT архитектурно не отличается от других LLM, поэтому см. самый большой минус.
Из всего, что я попробовал, мне понравилось больше всего именно чатиться и устраивать ролеплей. Вот это реально очень круто. Неплохо выходит работа с текстом, суммаризация, тегирование, проверка правописания.
Из прочих новостей: по роману перевалил за первые две трети по объему. Планирую к концу января закончить все главы.