Worked example 12: Urdu word list (60 s)

Recording AA_5e864c07-… · grade 4 · age 12 · enumerator #04 · window 175–203 s of the session, 60-s clock from the child's first word at 175.4 s

How to read this page. Section 1 is the printed text the child had in front of them, numbered in reading order. Section 2 is the 60-second clip, timed from the child's first word. Section 3 is what the speech-to-text service typed from that clip; the microphone hears the enumerator too, so prompts like "shabash" can appear between the child's words. Section 4 has one row per scorer with a colour chip for every printed word: the enumerator row is the live tablet marking, the official score; the baseline row is the first automatic method, which matches transcript words to printed words by spelling; each model row is that model's own judgement from the audio or from the transcript. Red where the enumerator has green means the scorer flagged too much; green where the enumerator has red means it waved a mistake through; grey means skipped or never reached; faded means no verdict. "Attempted" is the furthest word reached. Section 5's "difference from enumerator" is each scorer's correct count minus the enumerator's: near zero is good, a large positive number is too lenient, a large negative number too harsh. Section 6 is the second human's re-listen.

1. What the child was supposed to read

1. بچہ 2. دروازہ 3. پانی 4. کتاب 5. گھر 6. قلم 7. بستہ 8. کمرہ 9. استاد 10. اسکول 11. باغ 12. کھڑکی 13. کرسی 14. میز 15. کاپی 16. چائے 17. دودھ 18. روٹی 19. درخت 20. پھول 21. دوست 22. بہن 23. بھائی 24. باپ 25. ماں 26. ہاتھ 27. جوتا 28. کپڑا 29. گیند 30. کھیل 31. منہ 32. سر 33. ناک 34. کان 35. آنکھ 36. ستارہ 37. چاند 38. سورج 39. رات 40. دن 41. دکان 42. بازار 43. سڑک 44. بس 45. گاڑی 46. گھڑی 47. مچھلی 48. پرندہ 49. کتا 50. بلی

The study export holds only right/wrong flags, not the text itself, so this text was reconstructed from 30 children's reads with an LLM; a word or two of it may itself be wrong, which would show up as the same "mistake" in every scorer's row.

2. The child's audio

Play the 60-second clip (Drive, Taleemabad accounts)
8 kHz classroom recording from the May 2026 study, upsampled. Folder: worked-examples clips

3. What the speech-to-text service heard

بچہ دروازہ پانی کتاب گہر قلم بستہ کمرہ استاد اسکول باغ کہڑکی کرسی میز کافی چایی دودہ روٹی در پہول دوست بہن بہایی باپ ماں ہاتہ جوتا کپڑا گیند کہیل ماں ماں سر ناک کان انکہ ستارہ چاند سورج رات دن دکان بازار سڑک بس گاڑی گہڑی مچہلی پرندہ کتا کتا بلی

Soniox stt-async-v3, Urdu hint · 52 words inside the 60-s window. The enumerator's own words (prompts, "shabash") are included when they fall inside the window.

4. Every scorer's verdict on every word

read correctly wrong skipped or not reached no verdict

Enumerator (tablet, live)
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
49 correct of 50 attempted in 60 s (words after the 60-second point are grey: the export records 0 for both "correct" and "never reached", so they are only known up to the attempted count)
Baseline: speech-to-text + spelling alignment
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
44 correct of 50 attempted; 2 extra words the child said are ignored
Gemini 3.1 Pro · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
49 correct of 50 attempted · model note: The child read fluently, only misreading 'منہ' as 'ماں'. Self-corrected on 'کتا'.
Gemini 3.8 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
48 correct of 50 attempted · model note: The child read rapidly and accurately, misreading 'درخت' as 'درس' and 'منہ' as 'ماں'.
Gemini 3.5 Flash-Lite · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
46 correct of 50 attempted · model note: The child read accurately with minor mispronunciations.
Gemini 2.5 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all 50 words correctly within the 60-second timeframe.
GPT audio · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
46 correct of 50 attempted · model note: Child mispronounced 4 words but read all 50 words.
GPT audio mini · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
46 correct of 50 attempted · model note: Two words were read incorrectly: 'استاد' and 'دودھ' and 'جوتا' and 'کتا'.
MiMo 2.5 · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: Child read all printed words correctly, with an initial extra word not in the list.
Nemotron omni · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: Child read all 50 words correctly within 60 seconds.
Voxtral small · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all words correctly.
Claude Sonnet 5 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
47 correct of 50 attempted · model note: Child read all 50 words with minor phonetic spelling variants (treated as correct); errors: کاپی→کافی, درخت→در (truncated/wrong), منہ→ماں ما…
GPT-5 mini · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
28 correct of 50 attempted · model note: Aligned printed words to the sequential speech transcript; minor pronunciation variants counted as correct, different words counted as wrong…
Gemini 3 Flash · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
47 correct of 50 attempted · model note: The child misread 'کاپی' as 'کافی', 'درخت' as 'در', and 'منہ' as 'ماں'.
DeepSeek 3.2 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
36 correct of 50 attempted · model note: The child attempted all 50 words. Errors were mainly mispronunciations affecting specific phonemes (e.g., aspirated vs. unaspirated consonan…

5. The counts

ScorerWords correctWords attempted (furthest word reached)Difference from enumerator (correct)Difference (attempted)
Enumerator4950+0+0
Baseline: speech-to-text + alignment4450-5+0
Gemini 3.1 Pro · audio4950+0+0
Gemini 3.8 Flash · audio4850-1+0
Gemini 3.5 Flash-Lite · audio4650-3+0
Gemini 2.5 Flash · audio5050+1+0
GPT audio · audio4650-3+0
GPT audio mini · audio4650-3+0
MiMo 2.5 · audio5050+1+0
Nemotron omni · audio5050+1+0
Voxtral small · audio5050+1+0
Claude Sonnet 5 · transcript4750-2+0
GPT-5 mini · transcript2850-21+0
Gemini 3 Flash · transcript4750-2+0
DeepSeek 3.2 · transcript3650-13+0

6. The second human

The second human (fareeda) re-listened: on the correct count the reviewer disagreed with the enumerator; on the attempted count the reviewer disagreed with the enumerator; the enumerator followed the protocol.