Worked example 9: Urdu word list (60 s)

Recording AA_72720d37-… · grade 3 · age 11 · enumerator #89 · window 313–352 s of the session, 60-s clock from the child's first word at 313.3 s

How to read this page. Section 1 is the printed text the child had in front of them, numbered in reading order. Section 2 is the 60-second clip, timed from the child's first word. Section 3 is what the speech-to-text service typed from that clip; the microphone hears the enumerator too, so prompts like "shabash" can appear between the child's words. Section 4 has one row per scorer with a colour chip for every printed word: the enumerator row is the live tablet marking, the official score; the baseline row is the first automatic method, which matches transcript words to printed words by spelling; each model row is that model's own judgement from the audio or from the transcript. Red where the enumerator has green means the scorer flagged too much; green where the enumerator has red means it waved a mistake through; grey means skipped or never reached; faded means no verdict. "Attempted" is the furthest word reached. Section 5's "difference from enumerator" is each scorer's correct count minus the enumerator's: near zero is good, a large positive number is too lenient, a large negative number too harsh. Section 6 is the second human's re-listen.

1. What the child was supposed to read

1. بچہ 2. دروازہ 3. پانی 4. کتاب 5. گھر 6. قلم 7. بستہ 8. کمرہ 9. استاد 10. اسکول 11. باغ 12. کھڑکی 13. کرسی 14. میز 15. کاپی 16. چائے 17. دودھ 18. روٹی 19. درخت 20. پھول 21. دوست 22. بہن 23. بھائی 24. باپ 25. ماں 26. ہاتھ 27. جوتا 28. کپڑا 29. گیند 30. کھیل 31. منہ 32. سر 33. ناک 34. کان 35. آنکھ 36. ستارہ 37. چاند 38. سورج 39. رات 40. دن 41. دکان 42. بازار 43. سڑک 44. بس 45. گاڑی 46. گھڑی 47. مچھلی 48. پرندہ 49. کتا 50. بلی

The study export holds only right/wrong flags, not the text itself, so this text was reconstructed from 30 children's reads with an LLM; a word or two of it may itself be wrong, which would show up as the same "mistake" in every scorer's row.

2. The child's audio

Play the 60-second clip (Drive, Taleemabad accounts)
8 kHz classroom recording from the May 2026 study, upsampled. Folder: worked-examples clips

3. What the speech-to-text service heard

سبزی ہ پانی ہ کت کتب ہ کتب کہا بس یہ والا ریڈ کریں کاج ہ کاج اپ والی کا ساتہ صحیح

Soniox stt-async-v3, Urdu hint · 22 words inside the 60-s window. The enumerator's own words (prompts, "shabash") are included when they fall inside the window.

4. Every scorer's verdict on every word

read correctly wrong skipped or not reached no verdict

Enumerator (tablet, live)
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
0 correct of 5 attempted in 60 s (words after the 60-second point are grey: the export records 0 for both "correct" and "never reached", so they are only known up to the attempted count)
Baseline: speech-to-text + spelling alignment
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
1 correct of 50 attempted; 0 extra words the child said are ignored
Gemini 3.1 Pro · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
3 correct of 6 attempted · model note: The child read the first 3 words correctly, mispronounced the next 3, and then the teacher switched to a different text.
Gemini 3.8 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
3 correct of 10 attempted · model note: The child starts from word 2, reads words 2-4 correctly, and struggles to decode subsequent words before the teacher stops the task.
Gemini 3.5 Flash-Lite · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
3 correct of 50 attempted · model note: The child read very few words correctly and struggled significantly with the passage.
Gemini 2.5 Flash · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
50 correct of 50 attempted · model note: The child read all 50 words correctly within the 60-second timeframe.
GPT audio mini · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
0 correct of 50 attempted · model note: The child attempted only one word, but it was incorrect.
MiMo 2.5 · audio
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
48 correct of 50 attempted · model note: Child skipped first two words and read words 3-50 correctly.
Claude Sonnet 5 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
1 correct of 4 attempted · model note: Child misread word1 as 'سبزی', correctly read 'پانی', struggled/mispronounced 'کتاب', then spoke unrelated filler/instructional phrases inst…
GPT-5 mini · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
1 correct of 22 attempted · model note: Spoken transcript mapped sequentially to printed list; tokens exhausted after item 22; only word 3 (پانی) was read correctly.
Gemini 3 Flash · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
1 correct of 4 attempted · model note: The child struggled significantly, only correctly identifying 'Pani' and mispronouncing 'Kitab' before stopping.
DeepSeek 3.2 · transcript
بچہدروازہپانیکتابگھرقلمبستہکمرہاستاداسکولباغکھڑکیکرسیمیزکاپیچائےدودھروٹیدرختپھولدوستبہنبھائیباپماںہاتھجوتاکپڑاگیندکھیلمنہسرناککانآنکھستارہچاندسورجراتدندکانبازارسڑکبسگاڑیگھڑیمچھلیپرندہکتابلی
1 correct of 4 attempted · model note: Child read only 'پانی' correctly and misread 'کتاب' as 'کت کتب', then stopped reading the list.

5. The counts

ScorerWords correctWords attempted (furthest word reached)Difference from enumerator (correct)Difference (attempted)
Enumerator05+0+0
Baseline: speech-to-text + alignment150+1+45
Gemini 3.1 Pro · audio36+3+1
Gemini 3.8 Flash · audio310+3+5
Gemini 3.5 Flash-Lite · audio350+3+45
Gemini 2.5 Flash · audio5050+50+45
GPT audio mini · audio050+0+45
MiMo 2.5 · audio4850+48+45
Claude Sonnet 5 · transcript14+1-1
GPT-5 mini · transcript122+1+17
Gemini 3 Flash · transcript14+1-1
DeepSeek 3.2 · transcript14+1-1

6. The second human

The second human (laraib) re-listened: on the correct count the reviewer disagreed with the enumerator; on the attempted count the reviewer disagreed with the enumerator. Reviewer comment: “Data not recorded section conducted ”