Testul cititorului orb pentru texte scrise cu AI

Nu poți judeca un capitol pe care l-ai văzut scriindu-se. Nu din nepăsare, ci pentru că știi prea multe: ai văzut schița din care a plecat, promptul, cele două încercări dinainte și nota în care ai cerut un final mai lent. Când ajungi la pagină, citești și transcrierea, iar transcrierea câștigă de fiecare dată. Cel mai ieftin test cinstit pe care îl știm este un cititor orb: cineva care vede textul fără semnele care îl identifică și răspunde la un barem scris de tine înainte ca el să înceapă.

De ce îți schimbă lectura faptul că ai văzut textul scriindu-se?

Se întâmplă trei lucruri deodată. Completezi textul din memorie, așa că o tranziție care lipsește de pe pagină există în capul tău, pentru că știi ce face scena următoare. Apreciezi intenția, așa că o replică plată pare reținere deliberată când îți amintești că ai cerut reținere. Și familiaritatea ascunde greșeala: după a patra trecere, propozițiile nu mai sunt vizibile deloc, iar tu observi doar lucrurile pe care ai decis deja să le repari.

Un caz concret. Un capitol începe cu două pagini în care un bătrân vânzător îi explică protagonistului istoria orașului. În schiță asta e un singur punct: stabilește decorul. Pe pagină e o explicație fără nimeni în cameră care să aibă nevoie de ea. Autorul care a văzut scena generându-se își amintește punctul din schiță și o numește pregătire. Un cititor fără schiță o numește ce este, o scenă care există ca să explice, și o spune într-o propoziție.

Ce primește de fapt cititorul orb?

Metoda ține aproape în întregime de disciplină: de ce anume lași afară. În ordine:

• Șterge semnele care identifică. Pagina de titlu, numele autorului, numărul capitolului din antet, numele fișierului, metadatele, comentariile, urmele de revizuire, cuvântul ciornă. Contează și scurgerile de stil: dacă doar capitolele asistate de model au ghilimele drepte sau sunt singurele care folosesc un simbol pentru rupturile de scenă, acela este un semn.
• Dă-i coada precedentă. Cel mult o pagină, finalul capitolului anterior. Destul ca să știe unde stă, nu destul ca să știe încotro merge.
• Ține planul pentru tine. Fără schiță, fără sinopsă, fără o notă despre ce ar trebui să realizeze capitolul. Un rezumat scurt al celor întâmplate până acum, scris din text și nu din schiță, este acceptabil când capitolul e adânc în carte. Planul nu este.
• Amestecă ordinea acolo unde înțelegerea o permite. Capitolele din mijlocul cărții care nu depind de un moment de suspans pot fi citite ca piese separate, iar amestecarea lor scoate elanul care duce un cititor prin proză slabă când o citește la rând. Nu amesteca primele capitole, nici pe cele legate prin cauză și efect direct: un cititor care se rătăcește din cauza ordinii îți dă un eșec fals.
• Folosește cel puțin doi cititori. Dezacordul este cel mai util rezultat al testului, pentru că mută întrebarea de la „e bun capitolul” la „ce a văzut un cititor și celălalt nu”.

De ce se scrie baremul înainte de lectură?

Un barem scris după aceea descrie capitolul pe care tocmai l-ai citit. Este o raționalizare cu numere atașate și va găsi mereu că textul trece la criteriile la care se întâmplă să fie bun. Scris înainte, baremul este o ipoteză despre eșec, iar lectura o verifică.

Forma utilă este o listă a felurilor în care capitolul poate eșua, nu o listă de virtuți. Al nostru are cinci axe:

• Continuitate. Fapte, obiecte, vreme, răni, nume, cine știe ce și când.
• Personaj. Acționează fiecare dintr-un motiv arătat de text, sau din ce are nevoie intriga mai departe?
• Voce și ton. Rămâne narațiunea aceeași persoană pe tot capitolul?
• Scopul scenei. Se schimbă ceva în fiecare scenă, sau scena există ca să transmită informație?
• Finalul. Ultima pagină deschide ceva, sau rezumă ce cititorul știa deja?

Fiecare axă primește unul din trei verdicte și o singură replică citată ca dovadă. Un punctaj fără citat este o părere și îl aruncăm. Ultimul câmp e text liber și cel mai cinstit din tot exercițiul: rândul la care ai vrut prima dată să te oprești, sau cuvântul niciodată. Cititorul își amintește momentul în care s-a desprins, iar acel moment nu poate fi contrazis.

Ce prinde testul în mod sigur?

Cititorii orbi sunt buni la defectele locale, cele care trăiesc în interiorul unui capitol și nu au nevoie de toată cartea ca să poată fi judecate.

• Erori de continuitate. Un personaj mort vorbește. Un cuțit este în două camere. O informație apare cu două capitole înainte ca cineva să o fi putut afla. Un nume e scris în două feluri. E amurg într-un paragraf și amiază în următorul.
• Derivă de ton. O narațiune care începe sec și devine jucăușă la a treia pagină. Un personaj formal care devine degajat pentru un paragraf, pentru că propoziția trebuia să fie mai scurtă.
• Personaje care ies din personaj. Cineva este de acord prea repede, pentru că intriga are nevoie de el în scena următoare. Cineva explică exact ce știu deja amândoi cei din scenă.
• Blocuri de expunere. Informație livrată dintr-o bucată, fără nimeni în cameră care să aibă un motiv să o spună.
• Scene care există ca să explice. Nu se schimbă nimic, cititorul este informat, iar capitolul ar putea fi șters fără ca următorul să observe. Acesta e eșecul pe care un cititor orb îl numește cel mai repede, pentru că nu are niciun motiv să aibă răbdare cu el.

Sunt exact eșecurile pe care le produc cel mai des drafturile lungi scrise cu AI, și au mărimea unui capitol, de aceea capitolul este unitatea potrivită pentru test.

Ce nu îți spune?

Nu îți spune dacă romanul este bun. Judecățile pe capitole nu se compun. Un manuscris poate trece fiecare capitol și tot nu are un motiv să existe: dacă promisiunea primului act este plătită, dacă structura își câștigă finalul, dacă tema face ceva, nimic din toate astea nu se vede când citești capitole în altă ordine și fără arc. Un capitol frumos în cartea greșită trece testul.

Nu îți spune dacă romanul se va vinde. Vânzările depind de categorie, copertă, moment, preț, public și distribuție, și de nimic din ce poate vedea cititorul unui singur capitol. Cine îți spune că un test de proză prezice piața îți vinde ceva.

Nu măsoară nici originalitatea. Un cititor care nu cunoaște genul poate găsi proza derivativă perfect acceptabilă, iar unul care îl cunoaște poate pedepsi capitolul din motive de piață, nu pentru ce este pe pagină. Ambele reacții sunt utile și niciuna nu este aceeași judecată.

Tratează rezultatul ca pe un filtru. Elimină ieftin eșecuri concrete, numite. Nu îți spune niciodată să publici.

De ce nu este o recenzie faptul că un model își recitește draftul?

Pentru că problema este contextul, nu instrucțiunea. Un model care a scris capitolul are încă schița, propriul raționament și fiecare alegere pe care a apărat-o pe drum. Cere-i să fie dur și va juca duritatea pe ce este sigur de criticat, un adverb, un gest repetat, în timp ce scena care există doar ca să explice rămâne neatinsă. Nu minte. Își recenzează intențiile, iar textul este singurul lucru pe care îl va vedea cititorul vreodată.

Un context critic separat este altceva decât o părere separată. Părerea unui coleg, dacă i-ai dat schița, este informată de plan și va ierta exact lucrurile pe care le ierți și tu. Un context nou care primește doar capitolul, coada și baremul nu are niciun plan la care să facă apel. Nu poate spune „dar am vrut să”, pentru că nu știe ce ai vrut. Ignoranța aceea structurală este toată valoarea.

Are o limită pe care merită să o spui. Un critic-model împărtășește preferințele modelului care a scris, mai ales în aceeași familie: amândoi supraevaluează proza fluentă și medie și subevaluează orice este ciudat. De aceea folosim doi cititori-model pe fiecare capitol și un om pe capitolele care contează. Omul nu poate fi înlocuit, iar cititorii-model sunt destul de ieftini ca să ruleze pe tot.

O regulă face sistemul să funcționeze în unelte: izolarea rolurilor. Scriitorul nu are voie să citească criticile în timp ce scrie, altfel începe să scrie pentru barem și proza capătă forma baremului. Criticul nu are voie să editeze, altfel începe să rescrie în loc să raporteze. Doi agenți cu permisiuni separate pe fișiere sunt de ajuns. Nu e nevoie de un framework.

Cum păstrezi verdictul ca să nu se piardă?

Într-un fișier, nu în conversație. Conversația se derulează, iar compactarea o înlocuiește cu un rezumat. O săptămână mai târziu rezumatul spune că a fost aprobat capitolul, și nimeni nu poate spune de către cine, pe ce dovadă și față de ce barem. Fișierul este artefactul; o afirmație din conversație nu este.

Ce are nevoie raportul:

• Cititorul, data și exact ce a primit.
• Versiunea baremului, ținută în repository și schimbată între runde, niciodată în timpul uneia.
• Un verdict pe fiecare axă, fiecare cu un citat.
• Punctul de oprire, sau niciodată.
• Un verdict general și singura reparație care merită făcută prima.

Scrie-l la o cale pe care o poate citi o poartă, de exemplu work/critique-reports/blind-chapter-07.md, și verifică-l cu un script, nu cu memoria. După o revizie, rulează testul din nou și păstrează ambele rapoarte în loc să îl suprascrii pe primul. Al doilea îți spune dacă reparația a funcționat; perechea îți spune dacă reparația a stricat altceva. Vellum, pluginul pentru scrierea de romane pe care îl publicăm, folosește exact asta ca una din cele trei porți obligatorii: un capitol marcat ca esențial are nevoie de un cititor orb care a văzut doar capitolul și coada precedentă, iar pasul de acceptare refuză să treacă fără raportul de pe disc. Documentația lui arată că o singură conversație nu poate ține cinstit o lectură oarbă.

Cea mai mică versiune cinstită costă o seară. Ia un capitol, șterge semnele inclusiv numele fișierului, dă-i unui cititor o pagină din coadă și cinci condiții de eșec pe care le-ai scris înainte să deschidă fișierul, și cere citate și un punct de oprire. Scrie răspunsul într-un fișier cu dată. Fă la fel pentru următorul capitol care contează. Acesta este tot testul, și va prinde mai mult decât încă o citire a propriului draft, pentru că tu ești singura persoană din lume care nu îl poate citi orb. Dacă vrei o a doua pereche de ochi pe un manuscris mai lung sau pe fluxul din jurul lui, vezi serviciile noastre de sisteme AI, sau citește cum verificăm rezultatele AI pentru fapte inventate, unde găsești aceeași disciplină aplicată afirmațiilor, nu scenelor.