Worked example 11: Urdu word list (60 s)

Recording AA_aa8eabb8-… · grade 5 · age 14 · enumerator #70 · window 247–279 s of the session, 60-s clock from the child's first word at 247.0 s

How to read this page. Section 1 is the printed text the child had in front of them, numbered in reading order. Section 2 is the 60-second clip, timed from the child's first word. Section 3 is what the speech-to-text service typed from that clip; the microphone hears the enumerator too, so prompts like "shabash" can appear between the child's words. Section 4 has one row per scorer with a colour chip for every printed word: the enumerator row is the live tablet marking, the official score; the baseline row is the first automatic method, which matches transcript words to printed words by spelling; each model row is that model's own judgement from the audio or from the transcript. Red where the enumerator has green means the scorer flagged too much; green where the enumerator has red means it waved a mistake through; grey means skipped or never reached; faded means no verdict. "Attempted" is the furthest word reached. Section 5's "difference from enumerator" is each scorer's correct count minus the enumerator's: near zero is good, a large positive number is too lenient, a large negative number too harsh. Section 6 is the second human's re-listen.

1. What the child was supposed to read

1. بچہ 2. دروازہ 3. پانی 4. کتاب 5. گھر 6. قلم 7. بستہ 8. کمرہ 9. استاد 10. اسکول 11. باغ 12. کھڑکی 13. کرسی 14. میز 15. کاپی 16. چائے 17. دودھ 18. روٹی 19. درخت 20. پھول 21. دوست 22. بہن 23. بھائی 24. باپ 25. ماں 26. ہاتھ 27. جوتا 28. کپڑا 29. گیند 30. کھیل 31. منہ 32. سر 33. ناک 34. کان 35. آنکھ 36. ستارہ 37. چاند 38. سورج 39. رات 40. دن 41. دکان 42. بازار 43. سڑک 44. بس 45. گاڑی 46. گھڑی 47. مچھلی 48. پرندہ 49. کتا 50. بلی

The study export holds only right/wrong flags, not the text itself, so this text was reconstructed from 30 children's reads with an LLM; a word or two of it may itself be wrong, which would show up as the same "mistake" in every scorer's row.

2. The child's audio

Play the 60-second clip (Drive, Taleemabad accounts)
8 kHz classroom recording from the May 2026 study, upsampled. Folder: worked-examples clips

3. What the speech-to-text service heard

اب اپ نی بیٹا یہ اس طرح سی پڑہنا ہی ٹہیک ہی بازار مطلب مچہلی بچہ اس طرح سی ٹہیک ہی چلیں بیٹا بچہ دروازہ پانی کتاب گہر قلم برتن کمرہ استاد اسکول باغ کہڑکی کرسی میز کافی چایی دودہ روٹی ٹرک اسکول دوست بہن بہایی باپ ماں ہاتہ جوتا کپڑا گیند کہیل منہ منہ کنا سر ناک کان انکہیں انکہ ستارہ چاند سورج رات جہینگ دکان بازار سڑک بس گاڑی کہڑکی مچہلی پرندہ کتا

Soniox stt-async-v3, Urdu hint · 75 words inside the 60-s window. The enumerator's own words (prompts, "shabash") are included when they fall inside the window.

4. Every scorer's verdict on every word

read correctly wrong skipped or not reached no verdict

Enumerator (tablet, live)
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
48 correct of 50 attempted in 60 s (words after the 60-second point are grey: the export records 0 for both "correct" and "never reached", so they are only known up to the attempted count)
Baseline: speech-to-text + spelling alignment
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
40 correct of 49 attempted; 26 extra words the child said are ignored
Gemini 3.1 Pro · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
49 correct of 50 attempted · model note: The child read fluently and accurately, only mispronouncing 'آنکھ' as 'آنکھیں' and 'آنکھا'.
Gemini 3.8 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all 50 words accurately and fluently within 30 seconds.
Gemini 3.5 Flash-Lite · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all 50 words correctly.
Gemini 2.5 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all 50 words correctly within the 60-second timeframe.
GPT audio · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: All words were read correctly without any skips or errors.
GPT audio mini · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: All words were read correctly.
MiMo 2.5 · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: Child read all words correctly in sequence without skipping or mispronouncing any.
Nemotron omni · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: All 50 words were read correctly within the 60‑second limit.
Voxtral small · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all the words correctly.
Claude Sonnet 5 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
43 correct of 49 attempted · model note: Child read fluently with minor phonetic variations counted correct; substituted wrong words for بستہ, کاپی, درخت, پھول, دن, گھڑی; stopped af…
GPT-5 mini · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
43 correct of 49 attempted · model note: Minor pronunciation/recognition variants (e.g., گہر/کہڑکی/دودہ/مچہلی) accepted as correct; skipped items: 20,40,46,50.
Gemini 3 Flash · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
43 correct of 49 attempted · model note: The child misread several words (e.g., 'bartan' for 'basta', 'truck' for 'darakht') and stopped before the final word.
DeepSeek 3.2 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
35 correct of 49 attempted · model note: Child read in correct order but with some substitutions (e.g., گھر→گہر), mispronunciations (دودھ→دودہ), skipped پھول and بلی, and stopped be…

5. The counts

ScorerWords correctWords attempted (furthest word reached)Difference from enumerator (correct)Difference (attempted)
Enumerator4850+0+0
Baseline: speech-to-text + alignment4049-8-1
Gemini 3.1 Pro · audio4950+1+0
Gemini 3.8 Flash · audio5050+2+0
Gemini 3.5 Flash-Lite · audio5050+2+0
Gemini 2.5 Flash · audio5050+2+0
GPT audio · audio5050+2+0
GPT audio mini · audio5050+2+0
MiMo 2.5 · audio5050+2+0
Nemotron omni · audio5050+2+0
Voxtral small · audio5050+2+0
Claude Sonnet 5 · transcript4349-5-1
GPT-5 mini · transcript4349-5-1
Gemini 3 Flash · transcript4349-5-1
DeepSeek 3.2 · transcript3549-13-1

6. The second human

The second human (fareeda) re-listened: on the correct count the reviewer disagreed with the enumerator; on the attempted count the reviewer disagreed with the enumerator.