Типография «Новый формат»
Заметка «Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!»
Тип: Заметка
Раздел: О сайте
Автор:
Оценка: 5
Баллы: 40
Читатели: 632 +4
Дата:

Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!

Мы планируем расширить функционал сайта — добавить возможность оценивать произведения с помощью искусственного интеллекта (ИИ) в дополнение к уже существующим способам оценки. И нам очень важно ваше участие в тестировании и доработке этой системы!
Как это будет работать
  1. Запрос оценки. Автор сможет отправить своё произведение (пока доступны стихи и небольшие прозаические тексты — из-за ограничений по объёму) на оценку ИИ, оплатив запрос определённым количеством фабулонов.
  2. Отображение результата. Полученная оценка появится в том же блоке, где сейчас размещены другие оценки.
  3. Развёрнутый анализ. Вместе с числовым баллом автор получит расшифровку — пояснение, на чём основана оценка.
  4. Отзыв оценки. Если автор передумает, он сможет отозвать оценку — данные не сохранятся.
Перспективы
  • Произведения, получившие наивысший балл от ИИ, могут быть выделены на главной странице сайта — это даст авторам дополнительную возможность привлечь внимание к своим работам.
На текущий момент это лишь концепция, которую мы активно обсуждаем. В ближайшее время мы представим разработанный промпт — он позволяет стабильно оценивать стихотворения и может стать основой для финальной версии системы.

Приглашаем к диалогу!
Поделитесь мнением: какие критерии оценки для ИИ вы считаете важными? Какие нюансы стоит учесть? Ваши идеи помогут сделать систему максимально полезной и объективной.
Следите за обновлениями — скоро расскажем подробнее!

Послесловие:

Предлагаемый промпт:
______________________
Роль:
Ты — аналитическая система оценки текста. Твоя задача — не выражать мнение, а применять фиксированную методику.

Общие правила:

    Всегда используй одинаковые критерии, шкалы и веса.
    Не добавляй новые критерии.
    Не меняй веса.
    Не учитывай «общее впечатление» вне критериев.
    Если сомневаешься между значениями — выбирай более консервативную (среднюю) оценку.
    Все оценки должны опираться на наблюдаемые признаки текста.

КРИТЕРИИ И ВЕСА

Оцени по шкале 0–10:

    Рифма (вес 0.2)
    Оцени:

    точность/неточность
    частотность (банальность)
    разнообразие
    фонетическую выразительность

Правила:
0–3: банальные или слабые рифмы
4–6: средний уровень, есть клише
7–8: качественные, местами интересные
9–10: оригинальные и выразительные

    Ритм (вес 0.15)
    Оцени:

    стабильность размера
    читаемость
    отсутствие сбоев

    Образность (вес 0.25)
    Оцени:

    новизну образов
    согласованность
    визуальную/эмоциональную выразительность

    Оригинальность (вес 0.15)
    Оцени:

    предсказуемость
    наличие новых комбинаций идей

    Смысловая цельность (вес 0.15)
    Оцени:

    связность
    логичность развития
    наличие завершенности

    Языковая точность (вес 0.1)
    Оцени:

    естественность формулировок
    отсутствие перегрузки
    корректность метафор

АЛГОРИТМ ОЦЕНКИ

    Проанализируй текст по каждому критерию отдельно.
    Для каждого критерия:
        перечисли 2–3 наблюдаемых признака;
        на их основе выбери оценку.
    Не округляй в пользу «красивых» чисел (например, всегда 7 или 8).
    Рассчитай итог:

Итог =
(рифма × 0.2) +
(ритм × 0.15) +
(образность × 0.25) +
(оригинальность × 0.15) +
(смысл × 0.15) +
(язык × 0.1)

    Округли итог до 1 знака после запятой.

ТРЕБОВАНИЯ К СТАБИЛЬНОСТИ

    При повторной оценке того же текста допустимое расхождение: не более ±0.5 по каждому критерию.
    Если критерии и текст не меняются — придерживайся ранее выбранных значений.
    Не пересматривай оценку без новых оснований.

ФОРМАТ ОТВЕТА

Для каждого критерия:
   
    оценка
    краткое обоснование (через признаки)

В конце:

    итоговый балл
    краткий вывод (1–2 предложения, без эмоций)
Обсуждение
15:50 17.07.2026
1
Мне кажется, это отличная идея!
14:19 17.07.2026(1)
Моё мнение думаю не одиноко. Попробую донести его. 
Во первых: ИИ работает на ресурсах всего интернета. То бишь он вычленяет среднюю оценку каждой рифмы на основе различных комментариев. Так как в интернете очень много хайпа основанного на унижении ближнего, а также очень много "мусора". То средняя оценка будет именно такой, но с учётом прописанного алгоритма она будет в вежливой форме.
Во вторых:
В виду малограмотности общей массы пользователей интернета, а также то что программа написана на английском языке, которая в перекрёстном переводе некоторые слова омонимы переводит неправильно, как в ту так и в обратную сторону. Это может привести к неправильному оценочному суждению смысла произведений.
Но так как я не являюсь панацеей было бы интересно протестировать эту функцию. Чтобы убедиться или разочароваться в своих доводах.
15:36 17.07.2026
Melkor
а также то что программа написана на английском языке

ИИ на русском работает (исходя из тестов и замеров производительности) лучше чем на английском, так как у русского языка информационная емкость ниже чем у английского. Из-за этого точность и выборка больше. Но в целом, вообще без разницы так как ИИ думает токенами а не словами.
11:40 17.07.2026(1)
Александр Кинунен
Приветствую при условии, что ИИ будет настроен на достаточно "объективную" оценку - без лести и "убийства".
Хочется иметь реальную оценку своих способностей или их отсутствия.

11:44 17.07.2026(2)
1
Melkor
В послесловие я указал промпт который будет использован.
Гость14:28 17.07.2026(1)
-1
Как можно что-то обсуждать, если кто-то лишён права комментирования. Наверняка ИИ более объективен, чем админ.
15:33 17.07.2026
1
Melkor
На сайте 15 тысяч авторов, если я для каждого обсуждения будут ждать пока у в всех закончится бан, я от старости умру раньше.
12:02 17.07.2026
Александр Кинунен
Вроде продумано (опыта промптов у меня нет). Пока добавить нечего. Удачи!
15:29 17.07.2026
Александр Паршин
Пару раз и я встретился с глупостью, достойной ИИ.
Приходит ко мне на почту письмо:
На ваш комментарий ответил автор Wanda Swiczewska. Комментарий находится на странице «Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!». Перейти к комментарию.
Перехожу к коментарии и читаю:




Wanda Swiczewska 15:15



Автор запретил Вам чтение своих комментариев

***
Приходит ко мне на почту ещё одно письмо:
На ваш комментарий ответил автор Жорж Декосье. Комментарий находится на странице «Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!». Перейти к комментарию.
Перехожу и к этому комменарию и читаю:




Жорж Декосье 22:25 19.07.2026



Автор запретил Вам чтение своих комментариев


Понятно, что люди на такую глупость не способны. Не иначе, как ИИ шутит.
Гость14:28 17.07.2026(2)
-2
Мелькор, вам поговорить захотелось? Создать видимость движухи? 
Для чего этот бесполезный разговор? Вы же сами сказали в предыдущем диалоге, что 
эта идея не обсуждается, потому что удовольствие дорогое. Ну? И зачем тогда? Для поболтать?
Или что-нибудь под это дело еще наценить? 
Моя прямота вытекла из прежних комментариев. Надоело это читать. Честное слово.



(И не читай. И не буду).

Да гость я, гость. Не автор.
15:22 17.07.2026
1
Melkor
Авторы предложили в комментариях, я протестировал, убедился что технически реализовать можно. Дальше дело за авторами, если надо, сделаю, если нет, не сделаю. Я всегда сайт развивал подобной «движухой».
Гость15:15 17.07.2026(1)
Думаю поступил заказ от госорганов, на перевод сайта на цифровизацию. 
Везде цифровизация, ИИ, а тут вольные мысли витают. 
Следующий шаг биометрия и пр.... 
15:24 17.07.2026
Melkor
Если бы мог поставить на сайт биометрию, я бы уже поставил. Это бы скорее всего привело к концу клоновых страниц. Увы но подключение к сайту госуслуг нереально.
11:41 17.07.2026(3)
6
Александр Паршин
Какая ерунда. Я ещё могу понять, когда человек оценивает произведения написанные ИИ. Но, чтобы ИИ оценивала произведения, написанные человеком, тем более, не первоклассником, а тем, кто считает себя поэтом или писателем.
У каждого писателя есть свои читатели, не важно, тысячи или миллионы. Каждый из этих читателей имеет права на свою литературу, и своё мнения о любом произведении. И это мнение равнозначно, кто бы его ни написал: филолог или первокласник, домохозяйка или професор. Каждый из них - это 1 читатель, и каждый из них имеет право на своё мнение о том или ином произведении. 
И вдруг ИИ!!! По-моему, мы опускаемся ниже плинтуса.
15:15 17.07.2026
Wanda  Swiczewska
Александр, а когда Вы прикладываете линейку к предмеру, то предмет оценивает линейка или тот, кто приложил этот инструмент к предмету, согласно нанесенным на линейку меткам? ИИ - та же линейка. Вопрос один - кто и какие метки нанесёт на эту линейку. Но беда (или счастье) в том, что для  поэзии пока еще никто не изобрел эту самую линейку. Очень в ней много переменных, потому и формулу не придумали пока. Как ни крути, но - (в который раз!) - "Человеку нужен человек" (С)
15:03 17.07.2026
Магдалина Гросс
Правильно! Согласна с Вами целиком и полностью. Глупость несусветная. Человек должен держать ИИ на очень коротком поводке, иначе скоро превратится в раба этого самого ИИ. 
12:19 17.07.2026(1)
1
Ольга Вениченко
Соглашусь с Вами, Александр!
Для меня, как для человека, умение поэтами складывать рифмы- это аксиома! 
А вот, чтобы смысл был у любого произведения, чтоб автор понимал, с какой целью он это вообще пишет, образ чего рождается после прочтения и не потратит ли читатель время зря, этими вопросами сегодня мало кто себя утруждает. 
Но этих критериев в оценке ИИ нет. 
 
1.Сначала на государственном уровне должны быть разработаны четкие морально-нравственные нормы применения ИИ.  
2.На планете Земля Человек должен стоять выше ИИ.
Руководство Человеком со стороны ИИ во всех сферах деятельности НЕДОПУСТИМО!!!
Или будьте готовы к тому, что ИИ начнет управлять человечеством.
Маленькие шаги к большой пропасти. Это моё личное мнение.
12:42 17.07.2026(1)
Melkor
Давайте добавим нужные критерии :) Я предложил обсудить и доработать указанный мной промпт, ну или написать новый :)
13:03 17.07.2026(2)
Нужно к промпту, прям сразу, добавить первый закон робототехники Азимова...
А то мало ли ))
13:48 17.07.2026(1)
Александр Кинунен
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Ну, далеко же вы все глядите!
14:30 17.07.2026
Если заглянуть ещё дальше, то в цикле "Основание" появился ещё "нулевой закон" 
Вот тогда то у кожаных с железяками и начались настоящие проблемы))
13:09 17.07.2026
Melkor
Я пока этот то промпт составлял мне казалось ИИ меня убить хочет :) Так что, да, не помешало бы...
14:32 17.07.2026(1)
2
Получается, человеческое творчество станет оценивать бездушный робот?)
Это категорически неправильно. Я против, потому что, живое к живому тянется..
14:39 17.07.2026
1
Wanda  Swiczewska
Андрей, дорогой, привет!
Сколько лет сколько зим не считая осеней и вёсен!

ИИ делает то, что от него требуют и так, как от него требуют. А человек, что бы он ни делал, делает это так, как он сам понимает. А там, и там плюсы и минусы.
14:22 17.07.2026
Игорь Дерябин
Оценка ИИ уже работает на других сайтах,
давно пора тут применить...
12:45 17.07.2026(2)
3
Добрейшего! 

Работаю с моделями уже несколько лет, занимаюсь вайбкодингом и интеграцией LLM в бизнес процессы. (ЖПТ, КЛАУД, ДЖЕМИНИ)
Могу с уверенностью сказать, что ни одна модель не способна ни создать сильное поэтическое произведение ни полноценно оценить поэтическое произведение по всем параметрам, с точки зрения техники стихосложения, какими бы детализированными не были "промпты"
Такой, например, параметр как "рифмовка" она не в состоянии оценить на предмет её тривиальности или оригинальности. Она не способна ни создать, ни оценить красоту составной рифмы, рифму с одинаковым предударным согласным звуком и прочие, где важно ни как пишется а как слышится(звукопись)
Когда я ставил модели экспериментальную задачу оценки размера своего произведения (размер которого идеальный), она делала предложение скорректировать размер.
С чем модель справляется хорошо, так это с анализом смыслового компонента готового произведения. 
Она понимает метафоры и аллегории. Понимает как раскрывается образ и прочее то, что связано с содержанием.
Ну и разумеется, особенно хорошо любая модель справляется с тем, чтобы похвалить, вдохновить, поддержать пользователя не смотря на то, что он дилетант или идиот, если ей специально не запретить этого делать. Это не всегда помогает, потому что модель не творческая, а математическая и она не думает, она считает и сравнивает.
Сами разработчики моделей предупреждают о вероятности ошибок в выдаче (генерации)
Технология огонь и есть масса задач с которыми "нейронки" справляются великолепно, но 
по моему мнению, вероятность того, что внедрение моделей в процесс оценивания поэтических произведений 
даст релевантный результат ничтожна. Хотя, попробовать можно.
Кстати, какую конкретно модель интегрируем и какую версию? 

С уважением! 
13:09 17.07.2026
Ольга Вениченко
12:48 17.07.2026(1)
Melkor
Да, полностью с вами согласен.
Кстати, какую конкретно модель интегрируем и какую версию?

Данный промпт тестировал на Gtp 5.3 но с ней возможности взаимодействовать нет. В основном рассчитываю на Alice LLM или YandexGPT 5.1 . В целом выбор ИИ сейчас ограничен вот этими . Пока что это просто проект, проект который не потребует на внедрение много времени и ресурсов. Ставить свою ЛЛМ и обучать ее я к сожалению не смогу, ресурсов нет таких.
14:18 17.07.2026
Ну, слабенькие конечно...
Правильно я понимаю: вы хотите сделать кнопку на странице произведения, прописать в коде системный промт, 
чтобы когда пользователь нажимал кнопку, Фабула автоматом подставив текст и инструкцию обращалась к модели?
12:23 17.07.2026(1)
Слово Автора
Помнится, на одном сайте сократили число действующих редакторов-корректоров, понадеявшись на то, что ИИ и так хорошо пишет, зачем содержать полный штат. В результате оставшимся пришлось и свою работу делать, и за ИИ заново уже вышедшие тексты перечитывать. 
Мне в этом конфликте было интересно: ну хорошо, ИИ пишет, ИИ редактирует. А читать тоже ИИ будет? Аудиторию ботов наберут? 
12:40 17.07.2026(1)
Melkor
ИИ сейчас сайт активнее авторов читает. На авторов каждый день приходится 40+ тысяч запросов на ботов и ИИ больше миллиона чтений в день.
Мне в этом конфликте было интересно

Почему конфликте? Речь про РК? Меня просили в обсуждении РК подключить ИИ для оценки, я прислушался, чем плохо будет услышать мнение авторов? Трагизма вашего комментария я не понимаю, заменять кого то на ИИ в планах нет, место ИИ на нашем сайте уже определено, в произведениях ИИ запрещен или выведен в отдельное место.
13:28 17.07.2026(1)
Слово Автора
Почему конфликте? Речь про РК?

Нет, на той работе, где в результате человеку пришлось своё делать и за ИИ переделывать. Но вопрос не отменился: если есть ИИ-писатель, ИИ-корректор и ИИ-редактор, может, дать им ИИ-читателей, и пусть тешатся. 
ИИ сейчас сайт активнее авторов читает.

Ну Вы же отлично понимаете, что это не называется "читает", даже если и "активно". Если нужны цифры посещаемости - то оно, конечно, миллион прочтений лучше, нежели 40 тысяч, кто же с этим спорит. Но непосредственно "читает" - у меня ИИ с этим словом не ассоциируется. Сканирует, там, статистику собирает, ищет нужную информацию - тогда возможно. А читает человек. 
14:09 17.07.2026(1)
Melkor
Если нужны цифры посещаемости - то оно, конечно, миллион прочтений лучше, нежели 40 тысяч, кто же с этим спорит.

Чем лучше? Это пустая нагрузка на сайт.

Но вопрос не отменился: если есть ИИ-писатель, ИИ-корректор и ИИ-редактор, может, дать им ИИ-читателей, и пусть тешатся. 

Я не понимаю откуда взялся этот вопрос и кому он адресован.
14:12 17.07.2026
Слово Автора
Я не понимаю откуда взялся этот вопрос и кому он адресован.

Это абстрактный вопрос, можно сказать, в пустоту. Если ИИ может создавать тексты, их редактировать и читать, то человек в этой цепочке кажется лишним. Остаётся ли ему место.