Worked example 3: Urdu story (60 s)

Recording AA_12d53cb2-… · grade 4 · age 10 · enumerator #57 · window 315–375 s of the session, 60-s clock from the child's first word at 314.7 s

How to read this page. Section 1 is the printed text the child had in front of them, numbered in reading order. Section 2 is the 60-second clip, timed from the child's first word. Section 3 is what the speech-to-text service typed from that clip; the microphone hears the enumerator too, so prompts like "shabash" can appear between the child's words. Section 4 has one row per scorer with a colour chip for every printed word: the enumerator row is the live tablet marking, the official score; the baseline row is the first automatic method, which matches transcript words to printed words by spelling; each model row is that model's own judgement from the audio or from the transcript. Red where the enumerator has green means the scorer flagged too much; green where the enumerator has red means it waved a mistake through; grey means skipped or never reached; faded means no verdict. "Attempted" is the furthest word reached. Section 5's "difference from enumerator" is each scorer's correct count minus the enumerator's: near zero is good, a large positive number is too lenient, a large negative number too harsh. Section 6 is the second human's re-listen.

1. What the child was supposed to read

1. آج 2. بلال 3. اپنے 4. والد 5. کے 6. ساتھ 7. دریائے 8. جہلم 9. کے 10. کنارے 11. گیا 12. وہاں 13. ٹھنڈی 14. ہوا 15. چل 16. رہی 17. تھی 18. اور 19. پانی 20. آہستہ 21. بہہ 22. رہا 23. تھا 24. بلال 25. نے 26. کشتی 27. کو 28. حرکت 29. کرتے 30. دیکھا 31. اس 32. کے 33. والد 34. نے 35. اسے 36. بتایا 37. کہ 38. دریا 39. ہمارے 40. ملک 41. کے 42. لیے 43. اہم 44. ہے 45. واپسی 46. پر 47. بلال 48. نے 49. خوبصورت 50. پتھر 51. جمع 52. کیے 53. اور 54. مسکراتا 55. رہا 56. وہ 57. بہت 58. خوش 59. بھی 60. تھا

The study export holds only right/wrong flags, not the text itself, so this text was reconstructed from 30 children's reads with an LLM; a word or two of it may itself be wrong, which would show up as the same "mistake" in every scorer's row.

2. The child's audio

Play the 60-second clip (Drive, Taleemabad accounts)
8 kHz classroom recording from the May 2026 study, upsampled. Folder: worked-examples clips

3. What the speech-to-text service heard

اج گلاس ہمم اپنی والد کی ساتہ ہمم گلی گیی ہمم شاباش پانی ہمم شاباش ہمم ہاں ٹہنڈی ہوا شاباش ٹہنڈی ہوا ہمم پانی شاباش پانی شاباش رفتہ شاباش کہانی ہمم چکی سی شاباش حرکت سی ٹہیک ہی اس کی والد نی ہمم اس کو بتایا کہ ہمم اچہا کہ ہماری والد کی لیی ہمم اہم ہی اچہا شاباش والد کی لیی بلانی میں ہمم خوبصورت تہی ٹہیک ہی بچوں کی ساتہ ہمم اچہا تہا ہمم ٹہیک ہی خاموش ہ

Soniox stt-async-v3, Urdu hint · 80 words inside the 60-s window. The enumerator's own words (prompts, "shabash") are included when they fall inside the window.

4. Every scorer's verdict on every word

read correctly wrong skipped or not reached no verdict

Enumerator (tablet, live)
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
57 correct of 60 attempted in 60 s (words after the 60-second point are grey: the export records 0 for both "correct" and "never reached", so they are only known up to the attempted count)
Baseline: speech-to-text + spelling alignment
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
14 correct of 60 attempted; 20 extra words the child said are ignored
Gemini 3.1 Pro · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
60 correct of 60 attempted · model note: The child read the entire text fluently and correctly without any errors.
Gemini 3.8 Flash · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
54 correct of 56 attempted · model note: The child read accurately and clearly, skipping 'گیا وہاں' and reaching 'وہ' before time expired.
Gemini 3.5 Flash-Lite · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
59 correct of 60 attempted · model note: The child read almost the entire text accurately, making only one substitution at word 12.
Gemini 2.5 Flash · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
60 correct of 60 attempted · model note: The child read all 60 words correctly within the 60-second timeframe.
GPT audio mini · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
0 correct of 0 attempted · model note: The child did not read any of the words from the printed text.
MiMo 2.5 · audio
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
60 correct of 60 attempted · model note: Child read the full passage correctly with slow, deliberate pacing; teacher encouraged throughout with شاباش and ٹھیک ہے.
Claude Sonnet 5 · transcript
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
The model returned no usable answer for this window (its reply was not in the requested format).
GPT-5 mini · transcript
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
The model returned no usable answer for this window (its reply was not in the requested format).
Gemini 3 Flash · transcript
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
22 correct of 60 attempted · model note: The child struggled with fluency, skipping several words and misreading others while being prompted by a teacher.
DeepSeek 3.2 · transcript
آجبلالاپنےوالدکےساتھدریائےجہلمکےکنارےگیاوہاںٹھنڈیہواچلرہیتھیاورپانیآہستہبہہرہاتھابلالنےکشتیکوحرکتکرتےدیکھااسکےوالدنےاسےبتایاکہدریاہمارےملککےلیےاہمہےواپسیپربلالنےخوبصورتپتھرجمعکیےاورمسکراتارہاوہبہتخوشبھیتھا
3 correct of 49 attempted · model note: Child's reading is highly inaccurate with many mispronunciations, skipped words, and inserted filler words (شاباش, ہمم, اچہا). Only three wo…

5. The counts

ScorerWords correctWords attempted (furthest word reached)Difference from enumerator (correct)Difference (attempted)
Enumerator5760+0+0
Baseline: speech-to-text + alignment1460-43+0
Gemini 3.1 Pro · audio6060+3+0
Gemini 3.8 Flash · audio5456-3-4
Gemini 3.5 Flash-Lite · audio5960+2+0
Gemini 2.5 Flash · audio6060+3+0
GPT audio mini · audio00-57-60
MiMo 2.5 · audio6060+3+0
Claude Sonnet 5 · transcript——no usable answer—
GPT-5 mini · transcript——no usable answer—
Gemini 3 Flash · transcript2260-35+0
DeepSeek 3.2 · transcript349-54-11

6. The second human

No re-listen was recorded for this subtask.