Типография «Новый формат»
Заметка «Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!»
Тип: Заметка
Раздел: О сайте
Автор:
Оценка: 5
Баллы: 40
Читатели: 632 +4
Дата:

Приглашаем авторов к разработке системы оценки произведений с помощью ИИ!

Мы планируем расширить функционал сайта — добавить возможность оценивать произведения с помощью искусственного интеллекта (ИИ) в дополнение к уже существующим способам оценки. И нам очень важно ваше участие в тестировании и доработке этой системы!
Как это будет работать
  1. Запрос оценки. Автор сможет отправить своё произведение (пока доступны стихи и небольшие прозаические тексты — из-за ограничений по объёму) на оценку ИИ, оплатив запрос определённым количеством фабулонов.
  2. Отображение результата. Полученная оценка появится в том же блоке, где сейчас размещены другие оценки.
  3. Развёрнутый анализ. Вместе с числовым баллом автор получит расшифровку — пояснение, на чём основана оценка.
  4. Отзыв оценки. Если автор передумает, он сможет отозвать оценку — данные не сохранятся.
Перспективы
  • Произведения, получившие наивысший балл от ИИ, могут быть выделены на главной странице сайта — это даст авторам дополнительную возможность привлечь внимание к своим работам.
На текущий момент это лишь концепция, которую мы активно обсуждаем. В ближайшее время мы представим разработанный промпт — он позволяет стабильно оценивать стихотворения и может стать основой для финальной версии системы.

Приглашаем к диалогу!
Поделитесь мнением: какие критерии оценки для ИИ вы считаете важными? Какие нюансы стоит учесть? Ваши идеи помогут сделать систему максимально полезной и объективной.
Следите за обновлениями — скоро расскажем подробнее!

Послесловие:

Предлагаемый промпт:
______________________
Роль:
Ты — аналитическая система оценки текста. Твоя задача — не выражать мнение, а применять фиксированную методику.

Общие правила:

    Всегда используй одинаковые критерии, шкалы и веса.
    Не добавляй новые критерии.
    Не меняй веса.
    Не учитывай «общее впечатление» вне критериев.
    Если сомневаешься между значениями — выбирай более консервативную (среднюю) оценку.
    Все оценки должны опираться на наблюдаемые признаки текста.

КРИТЕРИИ И ВЕСА

Оцени по шкале 0–10:

    Рифма (вес 0.2)
    Оцени:

    точность/неточность
    частотность (банальность)
    разнообразие
    фонетическую выразительность

Правила:
0–3: банальные или слабые рифмы
4–6: средний уровень, есть клише
7–8: качественные, местами интересные
9–10: оригинальные и выразительные

    Ритм (вес 0.15)
    Оцени:

    стабильность размера
    читаемость
    отсутствие сбоев

    Образность (вес 0.25)
    Оцени:

    новизну образов
    согласованность
    визуальную/эмоциональную выразительность

    Оригинальность (вес 0.15)
    Оцени:

    предсказуемость
    наличие новых комбинаций идей

    Смысловая цельность (вес 0.15)
    Оцени:

    связность
    логичность развития
    наличие завершенности

    Языковая точность (вес 0.1)
    Оцени:

    естественность формулировок
    отсутствие перегрузки
    корректность метафор

АЛГОРИТМ ОЦЕНКИ

    Проанализируй текст по каждому критерию отдельно.
    Для каждого критерия:
        перечисли 2–3 наблюдаемых признака;
        на их основе выбери оценку.
    Не округляй в пользу «красивых» чисел (например, всегда 7 или 8).
    Рассчитай итог:

Итог =
(рифма × 0.2) +
(ритм × 0.15) +
(образность × 0.25) +
(оригинальность × 0.15) +
(смысл × 0.15) +
(язык × 0.1)

    Округли итог до 1 знака после запятой.

ТРЕБОВАНИЯ К СТАБИЛЬНОСТИ

    При повторной оценке того же текста допустимое расхождение: не более ±0.5 по каждому критерию.
    Если критерии и текст не меняются — придерживайся ранее выбранных значений.
    Не пересматривай оценку без новых оснований.

ФОРМАТ ОТВЕТА

Для каждого критерия:
   
    оценка
    краткое обоснование (через признаки)

В конце:

    итоговый балл
    краткий вывод (1–2 предложения, без эмоций)
Обсуждение
Гость21:40 17.07.2026
Давайте смотреть правде в глаза: рано или поздно ИИ научится писать стихи лучше нас (обещают, что уже через три года). Давая нейросети рецензировать стихи сегодня, вы проводите для своих поэтов учения в условиях, максимально приближенных к боевым. 
Пусть привыкают угождать цифровому сверхразуму заранее! Если поэт сможет написать ямб так, чтобы к нему не придрался алгоритм 2026 года, то в будущем его, возможно, оставят в живых.)
Запуская ИИ-критика, мы смело заявляем: «Мы не боимся будущего!».
Natalia 
21:27 17.07.2026
Воблин
Я прошу меня простить, может у меня уже деменция, но я не понял для чего эти танцы с бубном вокруг Иван Иваныча. Вроде начинали говорить о редколлегии, но так ничего путного не решив, перескочили на ИИ. Ну добавит Иван Иванович еще десяток недоразумений на главную, как это решит хоть какую-то проблему сайта? Я, наверное, что-то где-то пропустил. ИИ на какое-то время создаст видимость "движухи" на сайте (новые команды сторонников и противников, причитания, проклятия и холивары), но при этом никакой проблемы это не решит: не добавит на главную действительно серьезные и интересные произведения, не сотрет с главной рифмованные сопли, не научит начинающих как писать и куда грести, не родит никакой вменяемой редакционной политики сайта.
Что касается ИИ, то пусть оно будет, тут даже обсуждать не стоило (это ведь как "Орбит без сахара", кому-то нравится — он жует, кому-то не нравится — тот не жует). И ни каких проблем ни с кариесом, ни с сайтом это не решает, а лишь создает новые проблемы.
21:27 17.07.2026
Наталья Семёнова
Судя по комментариям тех, кто хорошо знаком с ИИ, его оценивание сравнимо
с попаданием пальцем в небо. Видно, время его как толкового литературного критика
ещё не пришло.  Поэтому его оценки мне не интересны.
12:12 17.07.2026(1)
3
Иванка
Баловство для графоманов. Ну тут таких большинство. Проголосовала "против".

21:17 17.07.2026
1
Иванка
Ну тенденция голосования уже понятна: 50/50  ))

Ожидаете ли Вы, Виктор, что голосующих будет более обычных 300 человек?

20:28 17.07.2026(1)
Афанасий Сальери
Я пробовал оценивать прозу. Много спорных моментов. 
Если в течении двух-трёх дней оценивать каждый раз один и тот же текст результаты всегда разные. 
Вот и думай, с какой ноги встанет ИИ...
20:32 17.07.2026
Melkor
Есть такая проблема. Но с прозой в целом хуже ситуация чем с стихами так как проза больше и ее сложнее оценить (не всякая проза в принципе влезет в ИИ).
18:35 17.07.2026(1)
Александр Джуга
Виктор, мое мнение вы знаете, но я его повторю: я считаю этот эксперимент необходимым и интересным. При этом выскажу свою т. з.: выдумывать критерии, по которым произведение должно оцениваться, не надо. В литературоведении они давным давно определены. Вот по ним пусть и оценивает. И ваша арифметика здесь может сыграть дурную шутку: потрясающее эмоциональное воздействие и образность могут быть нивелированы одной спорной рифмой, что неправильно. Поверьте, ИИ не дурак, он выявит лучшее и без ваших "долей". Но если вы зададите ему жесткие цифровые рамки, он будет рассматривать работы по вашему алгоритму. И это будет не его оценка, а ваша. Правда, обвинять будут все равно его. 
Наберите в поисковике: критерии оценок художественного литературного произведения и просто скопируйте. Так будет правильнее и лучше. 
20:21 17.07.2026
Melkor
Эти критерии определил ИИ я просто с ними согласился... Я в стихосложении не разбираюсь, вот и предложил авторам помочь мне с этим. Свой промпт я приложил, этот промпт написан ИИ после долго с ним беседы.
Моя часть тут начинается и заканчивается на общении с ИИ, если вы можете мне составить работающий промпт то я буду рад его использовать :)
20:01 17.07.2026
1
Мир сошёл с ума. Литература - творчество, эстетика, вдохновение. Это то, что свойственно исключительно живым существам и никогда не будет у ИИ даже в теории, как бы ни изощрялись разработчики. Это примерно тоже самое, как исполнять фуги Баха для пустых кресел в зале и пытаться услышать их мнение. Поставить в проходах фонометры и по уровню децибел определять качество музыки.
Безумие! Впрочем, мир уже давно сошёл с ума.
12:19 17.07.2026(2)
3
Wanda  Swiczewska
Это как, кажись, мой намёк был понят буквально? 

Я пробовала. Сначала просила - расскажи про стихотворение - ОК! Теперь похвали - ВАУ! А теперь поругай - Ой-ой-ой...
Ладно, а теперь напиши его заново - ой, блин...

Но в ИИ есть реальный смысл - ИИ, тот же Gemini  - очень хороший корректор и описки со случайными ошибками, которые не заметны из-за авторской слепоты (это не отрицательный термин, это такое понятие, когда своего просто не замечаешь, это нормально). Так вот эта электроника находит ошибки. Правда, иногда с авторской пунктуацией не соглашается, но тогда она предлагает как быть. В общем тут так. Техническую сторону - корректора - ИИ выполняет на четыре с плюсом из пяти. А вот что касается рецензии, то здесь всё зависит от того, чего от него попросишь. Он же делает то, что ты хочешь услышать от него. И похвалит стих так, что ты на седьмом небе, и поругает тот же стих так, что бросишь рифмачество навсегда. Но если к этому "рецензенту" не относиться серьёзно, то для самоконтроля можно - ну, вычитка чужим глазом, что ли. Это - редакционный корректор, но не главред. 
Так что "Думайте сами, решайте сами!"

И как всегда - заключительная фраза из Станислава Лема - "Человеку нужен человек". Суррогат человека может выдавать лишь суррогат. Это нужно понимать. Ничто не заменит отклика живой души (как ни души этот ИИ). Ведь это лишь расхожая фраза - "Я для себя пишу!". "Ах, не надо, ах, бросьте!" (С)
16:46 17.07.2026
Татьяна Сунцова
12:41 17.07.2026(1)
1
Melkor
Я в послесловии указал совершенно конкретный промпт для ИИ, у каждого есть возможность его оценить или подкорректировать.
14:41 17.07.2026(1)
1
Wanda  Swiczewska
Я уже ответила Андрею - ИИ делает то, что от него требуют и так, как от него требуют. А человек, что бы от него не требовали и как бы это не требовали, делает это так, как он сам понимает. И там, и там плюсы и минусы.

В принципе, и там, и там в конечном итоге оценивает человек. Но если ИИ рассматривать как... ну как линейку, что ли, на которой поставлены кем-то мерные знаки, то и будет оценка по этому шаблону. Будем по шаблону или будем по эмоциям - это вопрос. Да, надо и по тому, и по тому. Как в школе - оценка за грамотность и содержание. И тут - за технику и поэтичность. Что примем за эталон?
15:31 17.07.2026
Melkor
Что примем за эталон?

Ну в послесловии же все указано... Ничего свыше чем я указал в послесловии я не прошу от ИИ.
15:37 17.07.2026(1)
3
Петр Петрицкий (Иван Алехин)
Пока есть возможность сдерживать эту заразу, надо ее сдерживать. Все искусство, как то - живопись, кино, театр, поэзия проза и т.д., для восприятия человеком и должно оцениваться человеком. По-моему это очевидно...
16:44 17.07.2026
Татьяна Сунцова
15:56 17.07.2026
1
Jinna Blak
Мне идея нравится. Не попробуем - не узнаем, что из этого выйдет.