مثال‌ها روش را نشان می‌دهند. سنجیدنش کار یک مطالعه است.

سفارش‌ها

دو مجموعه‌ی ۲۶تایی، طوری نوشته شده که شبیه پیام واقعی مشتری باشد: کوتاه، مبهم، گاهی با غلط تایپی، خواسته‌های متناقض یا درخواست ناامن. هر مجموعه ۱۱ سفارش کم‌خطر، ۱۱ متوسط و ۴ پرخطر دارد. قالب‌ها از کپشن و پیامک و ایمیل تا معرفی محصول، صفحه‌ی فرود، خبر رسمی، پیام خطا و پیام دشوار را در بر می‌گیرند. در دو سفارش، مشتری فارسی نوشته و متن انگلیسی خواسته است.

هیچ سفارشی نباید با واژگان قاعده‌های خود والوری نوشته شود یا مثال‌های آن را تکرار کند. نسخه‌ی ⁦1.1⁩ سه سفارش را که چنین بودند بازنویسی کرد. پیش از ثابت‌کردن، کسی که در نوشتن والوری نبوده همه‌ی سفارش‌ها را می‌خواند. هر سفارشی که به نظرش برای والوری دوخته شده باشد، علامت می‌خورد.

چکیده‌ی هر فایل سفارش پیش از تولید ثبت می‌شود و بعد از دیدن اولین خروجی، هیچ سفارشی عوض نمی‌شود.

جفت‌ها چطور داوری می‌شوند

• داور سه چیز می‌بیند: سفارش، فهرست اطلاعاتی که مشتری نداده و دو خروجی الف و ب. نام حالت‌ها و فرضیه را به او نمی‌گویند.
• داوران هوش مصنوعی هر جفت را به هر دو ترتیب می‌بینند؛ این‌طور معلوم می‌شود اگر متنی را فقط چون اول آمده ترجیح داده‌اند.
• هر زبان دست‌کم دو داور انسانی دارد: خواننده‌هایی که آن زبان، زبان اولشان است یا به آن مسلط‌اند و در ساخت والوری نبوده‌اند. هر جفت دست‌کم دو داور هوش مصنوعی هم دارد، از خانواده‌ای جز خانواده‌ی مدل نویسنده؛ داورهای هم‌خانواده جدا گزارش می‌شوند.
• یک اجرای دوم اجباری بی فهرست اطلاعات داده‌نشده، چون آن فهرست پیدا کردن واقعیت ساختگی را آسان می‌کند.
• بعد از داوری، آزمون کوری: داوران حدس می‌زنند کدام متن با راهنمای نوشتن نوشته شده؛ این نشان می‌دهد نام‌پوشی داوری چقدر کار کرده است.

قاعده‌ی تصمیم

برای هر زبان، گزارش فقط وقتی می‌گوید والوری از «فقط سفارش» بهتر است که دو آزمون با هم بخوانند. کران پایین بازه‌ی ۹۵ درصدی بوت‌استرپ برای نرخ برد باید از نصف بالاتر باشد. آزمون تغییر علامت روی سفارش‌ها هم باید مقدار p کمتر از ۰٫۰۵ بدهد. «بدتر» قرینه‌ی همین است. اگر فقط یکی برقرار باشد، جواب «بی‌نتیجه» است. در غیر این صورت «تفاوت قابل تشخیصی دیده نشد»؛ و این به معنای نبودن اثر نیست.

داور باید الف یا ب را انتخاب کند. تساوی فقط وقتی پیش می‌آید که میانگین رأی داوران برای یک جفت دقیقاً نصف شود، و نصف برد حساب می‌شود.

برآورد توان در خود شیوه‌نامه: با ۲۶ سفارش برای هر زبان، این طرح فقط اثر بزرگ را با اطمینان پیدا می‌کند. تفاوت واقعی کوچک‌تر ممکن است به «تفاوت قابل تشخیصی دیده نشد» برسد و گزارش باید همین را بگوید.

بررسی‌های خودکار

هر چه نشان بدهند گزارش می‌شوند: جزئیات ساختگی، که یک روش تقریبی پیدایشان می‌کند و آدمی تأییدشان؛ قیدهای شکسته‌ی مشتری؛ و شمار هشدارهای بازبین خود والوری. بازبین فاصله از قاعده‌های والوری را می‌سنجد و از کیفیت متن چیزی نمی‌گوید؛ برای همین هیچ‌وقت تیتر گزارش نمی‌شود.