{ "schema": "fc-lang-alice-mt-analysis/v1", "source": "Alice's Adventures in Wonderland (Carroll) — public domain opening", "source_en_complete": "Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictures or conversations?'", "source_en_truncated_as_emitted": "Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictu", "langs": 18, "metrics_note": "char_bleu_proxy is a character-bigram precision×brevity proxy for illustration only — not sacreBLEU. Use sacrebleu on complete refs for publication.", "summary": { "en_complete_chars": 302, "en_trunc_ratio": 0.9272, "mean_proxy_drop_non_cjk": 21.38, "cjk_fully_complete": true, "density_rank_high_to_low": [ "DE", "EN", "FR", "EL", "NL", "SV", "ES", "IT", "PT", "PL", "TR", "RU", "UK", "HI", "AR", "KO", "JA", "ZH" ], "truncation_damage_rank": [ "DE", "FR", "EL", "NL", "SV", "ES", "IT", "PT", "PL", "AR", "TR", "RU", "UK", "HI", "JA", "KO", "ZH" ] }, "records": [ { "lang": "AR", "script": "Arabic", "complete": "بدأت أليس تشعر بتعب شديد من الجلوس بجانب أختها على الضفة دون أن تفعل شيئًا: نظرت مرة أو مرتين في الكتاب الذي كانت أختها تقرأه، لكنه لم يكن يحتوي على صور أو حوارات، وفكّرت أليس: «وما فائدة كتاب بلا صور أو حوارات؟»", "truncated": "بدأت أليس تتعب كثيرًا من الجلوس بجانب أختها على الضفة دون أن تفعل شيئًا: نظرت مرة أو مرتين في الكتاب الذي كانت أختها تقرأه، لكنه لم يكن فيه صور ولا حوارات، وفكر", "complete_chars": 212, "truncated_chars": 160, "density_vs_en": 0.702, "trunc_ratio": 0.7547, "char_bleu_proxy_trunc_vs_complete": 81.48, "proxy_drop_points": 18.52, "was_fully_emitted": false }, { "lang": "DE", "script": "Latin", "complete": "Alice wurde es allmählich sehr langweilig, neben ihrer Schwester am Ufer zu sitzen und nichts zu tun zu haben: Ein- oder zweimal hatte sie in das Buch geschaut, das ihre Schwester las, aber es gab darin weder Bilder noch Gespräche, und Alice dachte: ‚Und wozu ist ein Buch ohne Bilder oder Gespräche nütze?‘", "truncated": "Alice wurde es allmählich langweilig, neben ihrer Schwester am Ufer zu sitzen und nichts zu tun zu haben: Ein- oder zweimal hatte sie in das Buch geschaut, das", "complete_chars": 307, "truncated_chars": 159, "density_vs_en": 1.0166, "trunc_ratio": 0.5179, "char_bleu_proxy_trunc_vs_complete": 71.97, "proxy_drop_points": 28.03, "was_fully_emitted": false }, { "lang": "EL", "script": "Greek", "complete": "Η Αλίκη άρχιζε να βαριέται πολύ που καθόταν δίπλα στην αδελφή της στην όχθη χωρίς να κάνει τίποτα: μία ή δύο φορές είχε ρίξει μια ματιά στο βιβλίο που διάβαζε η αδελφή της, αλλά δεν είχε ούτε εικόνες ούτε διαλόγους, και σκέφτηκε: «Και τι χρησιμεύει ένα βιβλίο χωρίς εικόνες ή διαλόγους;»", "truncated": "Η Αλίκη άρχιζε να βαριέται πολύ που καθόταν δίπλα στην αδελφή της στην όχθη χωρίς να κάνει τίποτα: μία ή δύο φορές είχε ρίξει μια ματιά στο βιβλίο που διάβαζε η", "complete_chars": 287, "truncated_chars": 160, "density_vs_en": 0.9503, "trunc_ratio": 0.5575, "char_bleu_proxy_trunc_vs_complete": 74.67, "proxy_drop_points": 25.33, "was_fully_emitted": false }, { "lang": "EN", "script": "Latin", "complete": "Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictures or conversations?'", "truncated": "Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictu", "complete_chars": 302, "truncated_chars": 280, "density_vs_en": 1.0, "trunc_ratio": 0.9272, "char_bleu_proxy_trunc_vs_complete": 100.0, "proxy_drop_points": 0.0, "was_fully_emitted": false }, { "lang": "ES", "script": "Latin", "complete": "Alicia empezaba a cansarse mucho de estar sentada junto a su hermana en la orilla, sin nada que hacer: una o dos veces había mirado el libro que leía su hermana, pero no tenía ni dibujos ni conversaciones, y pensó: «¿Y de qué sirve un libro sin dibujos ni conversaciones?»", "truncated": "Alicia empezaba a cansarse mucho de estar sentada junto a su hermana en la orilla, sin nada que hacer: una o dos veces había mirado el libro que leía su hermana", "complete_chars": 272, "truncated_chars": 160, "density_vs_en": 0.9007, "trunc_ratio": 0.5882, "char_bleu_proxy_trunc_vs_complete": 76.7, "proxy_drop_points": 23.3, "was_fully_emitted": false }, { "lang": "FR", "script": "Latin", "complete": "Alice commençait à être très fatiguée d'être assise à côté de sa sœur sur la berge, sans rien à faire : une ou deux fois elle avait jeté un coup d'œil au livre que sa sœur lisait, mais il n'y avait ni images ni dialogues, et elle se dit : « À quoi sert un livre sans images ni dialogues ? »", "truncated": "Alice commençait à être très fatiguée d'être assise à côté de sa sœur sur la berge, sans rien à faire : une ou deux fois elle avait jeté un coup d'œil au livre", "complete_chars": 290, "truncated_chars": 159, "density_vs_en": 0.9603, "trunc_ratio": 0.5483, "char_bleu_proxy_trunc_vs_complete": 74.05, "proxy_drop_points": 25.95, "was_fully_emitted": false }, { "lang": "HI", "script": "Devanagari", "complete": "एलिस को अपनी बहन के पास किनारे पर बैठे-बैठे और कुछ न करते हुए बहुत ऊब लगने लगी थी: एक-दो बार उसने बहन की किताब में झाँका, पर उसमें न तस्वीरें थीं न बातचीत, और उसने सोचा, ‘तस्वीरों या बातचीत के बिना किताब का क्या उपयोग?’", "truncated": "एलिस को अपनी बहन के पास किनारे पर बैठे-बैठे और कुछ न करते हुए बहुत ऊब लगने लगी थी: एक-दो बार उसने बहन की किताब में झाँका, पर उसमें न तस्वीरें थीं न बातचीत, और उ", "complete_chars": 219, "truncated_chars": 160, "density_vs_en": 0.7252, "trunc_ratio": 0.7306, "char_bleu_proxy_trunc_vs_complete": 85.47, "proxy_drop_points": 14.53, "was_fully_emitted": false }, { "lang": "IT", "script": "Latin", "complete": "Alice cominciava a stancarsi di stare seduta accanto a sua sorella sulla riva, senza niente da fare: una o due volte aveva sbircato il libro che leggeva la sorella, ma non c'erano né figure né dialoghi, e pensò: «E a che serve un libro senza figure o dialoghi?»", "truncated": "Alice cominciava a stancarsi di stare seduta accanto a sua sorella sulla riva, senza niente da fare: una o due volte aveva sbircato il libro che leggeva la sore", "complete_chars": 261, "truncated_chars": 160, "density_vs_en": 0.8642, "trunc_ratio": 0.613, "char_bleu_proxy_trunc_vs_complete": 78.3, "proxy_drop_points": 21.7, "was_fully_emitted": false }, { "lang": "JA", "script": "Japanese", "complete": "アリスは姉のそばで土手に座っていて何もすることがなく、とても退屈し始めていました。姉が読んでいる本を一度か二度のぞいてみましたが、絵も会話もなく、「絵も会話もない本なんて何の役に立つの？」と思いました。", "truncated": "アリスは姉のそばで土手に座っていて何もすることがなく、とても退屈し始めていました。姉が読んでいる本を一度か二度のぞいてみましたが、絵も会話もなく、「絵も会話もない本なんて何の役に立つの？」と思いました。", "complete_chars": 101, "truncated_chars": 101, "density_vs_en": 0.3344, "trunc_ratio": 1.0, "char_bleu_proxy_trunc_vs_complete": 100.0, "proxy_drop_points": 0.0, "was_fully_emitted": true }, { "lang": "KO", "script": "Hangul", "complete": "앨리스는 언니 옆 둑에 앉아 할 일이 없어 몹시 지루해지기 시작했다. 언니가 읽는 책을 한두 번 들여다보았지만 그림도 대화도 없었고, ‘그림도 대화도 없는 책이 무슨 소용이지?’ 하고 생각했다.", "truncated": "앨리스는 언니 옆 둑에 앉아 할 일이 없어 몹시 지루해지기 시작했다. 언니가 읽는 책을 한두 번 들여다보았지만 그림도 대화도 없었고, ‘그림도 대화도 없는 책이 무슨 소용이지?’ 하고 생각했다.", "complete_chars": 108, "truncated_chars": 108, "density_vs_en": 0.3576, "trunc_ratio": 1.0, "char_bleu_proxy_trunc_vs_complete": 100.0, "proxy_drop_points": 0.0, "was_fully_emitted": true }, { "lang": "NL", "script": "Latin", "complete": "Alice begon het erg zat te worden om naast haar zus op de oever te zitten zonder iets te doen: een of twee keer had ze in het boek gekeken dat haar zus las, maar er stonden geen plaatjes of gesprekken in, en ze dacht: 'Wat heb je aan een boek zonder plaatjes of gesprekken?'", "truncated": "Alice begon het erg zat te worden om naast haar zus op de oever te zitten zonder iets te doen: een of twee keer had ze in het boek gekeken dat haar zus las, maa", "complete_chars": 274, "truncated_chars": 160, "density_vs_en": 0.9073, "trunc_ratio": 0.5839, "char_bleu_proxy_trunc_vs_complete": 76.42, "proxy_drop_points": 23.58, "was_fully_emitted": false }, { "lang": "PL", "script": "Latin", "complete": "Alicja zaczynała się bardzo nudzić siedząc na brzegu obok siostry i nie mając nic do roboty: raz czy dwa zajrzała do książki, którą czytała siostra, ale nie było w niej ani obrazków, ani rozmów, i pomyślała: „A na co komu książka bez obrazków i rozmów?”", "truncated": "Alicja zaczynała się bardzo nudzić siedząc na brzegu obok siostry i nie mając nic do roboty: raz czy dwa zajrzała do książki, którą czytała siostra, ale nie był", "complete_chars": 253, "truncated_chars": 160, "density_vs_en": 0.8377, "trunc_ratio": 0.6324, "char_bleu_proxy_trunc_vs_complete": 79.52, "proxy_drop_points": 20.48, "was_fully_emitted": false }, { "lang": "PT", "script": "Latin", "complete": "Alice estava começando a ficar muito cansada de ficar sentada ao lado da irmã na margem, sem nada para fazer: uma ou duas vezes espiou o livro que a irmã lia, mas não havia figuras nem conversas, e pensou: «E para que serve um livro sem figuras ou conversas?»", "truncated": "Alice estava começando a ficar muito cansada de ficar sentada ao lado da irmã na margem, sem nada para fazer: uma ou duas vezes espiou o livro que a irmã lia, m", "complete_chars": 259, "truncated_chars": 160, "density_vs_en": 0.8576, "trunc_ratio": 0.6178, "char_bleu_proxy_trunc_vs_complete": 78.6, "proxy_drop_points": 21.4, "was_fully_emitted": false }, { "lang": "RU", "script": "Cyrillic", "complete": "Алисе уже порядком надоело сидеть без дела на берегу рядом с сестрой: раз или два она заглянула в книгу, которую читала сестра, но там не было ни картинок, ни разговоров, и она подумала: «А какой толк от книги без картинок и разговоров?»", "truncated": "Алисе уже порядком надоело сидеть без дела на берегу рядом с сестрой: раз или два она заглянула в книгу, которую читала сестра, но там не было ни картинок, ни р", "complete_chars": 237, "truncated_chars": 160, "density_vs_en": 0.7848, "trunc_ratio": 0.6751, "char_bleu_proxy_trunc_vs_complete": 82.16, "proxy_drop_points": 17.84, "was_fully_emitted": false }, { "lang": "SV", "script": "Latin", "complete": "Alice började bli mycket trött på att sitta bredvid sin syster på stranden utan att ha något att göra: en eller två gånger hade hon tittat i boken som systern läste, men den hade varken bilder eller samtal, och hon tänkte: 'Vad ska man med en bok utan bilder eller samtal?'", "truncated": "Alice började bli mycket trött på att sitta bredvid sin syster på stranden utan att ha något att göra: en eller två gånger hade hon tittat i boken som systern l", "complete_chars": 273, "truncated_chars": 160, "density_vs_en": 0.904, "trunc_ratio": 0.5861, "char_bleu_proxy_trunc_vs_complete": 76.56, "proxy_drop_points": 23.44, "was_fully_emitted": false }, { "lang": "TR", "script": "Latin", "complete": "Alice, ablasının yanında kıyıda oturmaktan ve yapacak bir şeyi olmamaktan sıkılmaya başlamıştı: ablasının okuduğu kitaba bir iki kez göz atmıştı ama ne resim ne de konuşma vardı ve düşündü: 'Resimsiz ve konuşmasız bir kitabın ne yararı var?'", "truncated": "Alice, ablasının yanında kıyıda oturmaktan ve yapacak bir şeyi olmamaktan sıkılmaya başlamıştı: ablasının okuduğu kitaba bir iki kez göz atmıştı ama ne resim ne", "complete_chars": 241, "truncated_chars": 160, "density_vs_en": 0.798, "trunc_ratio": 0.6639, "char_bleu_proxy_trunc_vs_complete": 81.48, "proxy_drop_points": 18.52, "was_fully_emitted": false }, { "lang": "UK", "script": "Cyrillic", "complete": "Алісі вже порядком набридло сидіти без діла на березі поруч із сестрою: раз чи двічі вона зазирнула в книжку, яку читала сестра, але там не було ні малюнків, ні розмов, і вона подумала: «А який сенс у книжці без малюнків і розмов?»", "truncated": "Алісі вже порядком набридло сидіти без діла на березі поруч із сестрою: раз чи двічі вона зазирнула в книжку, яку читала сестра, але там не було ні малюнків, ні", "complete_chars": 231, "truncated_chars": 160, "density_vs_en": 0.7649, "trunc_ratio": 0.6926, "char_bleu_proxy_trunc_vs_complete": 83.23, "proxy_drop_points": 16.77, "was_fully_emitted": false }, { "lang": "ZH", "script": "Han", "complete": "爱丽丝坐在姐姐身旁的岸边，无事可做，开始感到非常无聊：她有一两次偷看姐姐在读的书，但里面既没有图画也没有对话，她想：‘一本既没有图画又没有对话的书有什么用呢？’", "truncated": "爱丽丝坐在姐姐身旁的岸边，无事可做，开始感到非常无聊：她有一两次偷看姐姐在读的书，但里面既没有图画也没有对话，她想：‘一本既没有图画又没有对话的书有什么用呢？’", "complete_chars": 80, "truncated_chars": 80, "density_vs_en": 0.2649, "trunc_ratio": 1.0, "char_bleu_proxy_trunc_vs_complete": 100.0, "proxy_drop_points": 0.0, "was_fully_emitted": true } ], "tensor_training_notes": { "pair_format": "JSONL lines: {\"src\": EN, \"tgt\": LANG_TEXT, \"lang\": code}", "compare_steps": [ "1. Train/eval on truncated pairs → measure sacreBLEU", "2. Train/eval on complete pairs → measure sacreBLEU", "3. Delta ≈ truncation impact on that language", "4. Weight sampling by 1/density so CJK and Latin see balanced token budgets", "5. Use complete refs only as references; never score truncated hyp against truncated ref" ], "recommended_max_chars_by_script": { "Han_JA_KO": "EN_chars * 0.4 buffer is enough for full meaning", "Latin_Cyrillic_Greek": "EN_chars * 1.15 to avoid mid-clause cuts", "Arabic_Devanagari": "EN_chars * 0.9 still needs explicit completion check" } } }