Datasets
Dataset
vaigai-dataset
by aakkaasshh
Vaigai Dataset aakkaasshh/vaigai-dataset is an Indic-focused multilingual text corpus aggregated for tokenizer training, built with the goal of reaching tokenizer quality on par with dedicated Indic tokenizers (e. g.
CC-BY-SA-4.0text-generation 462 01M < n < 10M rows
published 1 Jul 2026
Preview
First 5 rows of or / train, from the Hugging Face dataset viewer.
| text | language | size | non_whitespace_size |
|---|---|---|---|
| ଭାରତ ସରକାରୀ ସ୍ତରରେ ଏକ ଗଣରାଜ୍ୟ ଓ ଦକ୍ଷିଣ ଏସିଆର ଏକ ଦେଶ । ଏହା ଭୌଗୋଳିକ ଆୟତନ ଅନୁସାରେ ବିଶ୍ୱର ସପ୍ତମ ଓ ଜନସଂଖ୍ୟା ଅନୁସାରେ ବିଶ୍ୱର ପ୍ରଥମ ବୃହତ୍ତମ ଦେଶ । ଏହା ବିଶ୍ୱର ବୃହତ୍ତମ ଗଣତନ୍ତ୍ର ରୁପରେ ପରିଚିତ । ଏହାର ଉତ୍ତରରେ ଉଚ୍ଚ ଏବଂ ବହୁଦୂର ଯାଏ ଲମ୍ବିଥିବା ହିମାଳୟ, ଦକ୍ଷିଣରେ ଭାରତ ମହାସାଗର, ପୂର୍ବରେ ବଙ୍ଗୋପସାଗର ଓ ପଶ୍ଚିମରେ ଆରବସାଗର ରହିଛ… | or | 37941 | 35527 |
| ଓଡ଼ିଆ ବୋଧେ: ଭାରତରେ ଓଡ଼ିଆ ଲୋକ ଓଡ଼ିଆ ଭାଷା ଓଡ଼ିଆ ଲିପି ଓଡ଼ିଆ ସାହିତ୍ୟ ଓଡ଼ିଆ ଖାଦ୍ୟକୁ ବୁଝାଇପାରେ | or | 241 | 223 |
| ଘଟଣା ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ଅଜ୍ଞାତ ତିଥି ଘଟଣା ଜନ୍ମ ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ମୃତ୍ୟୁ ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ଆଧାର ୨୦୦୬ | or | 636 | 597 |
| ଜାପାନ (, ନିପ୍ପୋଁ ବା ନିହୋଁ), ପୂର୍ବ ଏସିଆରେ ଅବସ୍ଥିତ ଏକ ଦ୍ୱୀପ ରାଷ୍ଟ୍ର । ଏହାର ପଶ୍ଚିମରେ ଜାପାନ ସାଗର, ଓଖୋତ୍ସକ ସାଗରଠାରୁ ପୂର୍ବ ଚୀନ ସାଗର ଓ ତାଇୱାନ ପର୍ଯ୍ୟନ୍ତ ବ୍ଯାପ୍ତ ହୋଇ ରହିଛି । ପ୍ରଶାନ୍ତ ଅଗ୍ନିବଳୟର ଏକ ଅଂଶ, ଜାପାନ ୬,୮୫୨ଟି ଦ୍ୱୀପରେ ଗଢାହୋଇଛି ଯାହାର ପ୍ରାୟ ୩,୭୭,୯୭୫ ବର୍ଗ କି.ମି. କ୍ଷେତ୍ରଫଳ ରହିଛି; ଦେଶର ପାଞ୍ଚଟି ମୁଖ୍ଯ ଦ୍ୱୀପ … | or | 2420 | 2274 |
| ଘଟଣା ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ଅଜ୍ଞାତ ତିଥି ଘଟଣା ଜନ୍ମ ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ମୃତ୍ୟୁ ଜାନୁଆରୀ-ମାର୍ଚ୍ଚ ଅପ୍ରେଲ-ଜୁନ ଜୁଲାଇ-ସେପ୍ଟେମ୍ବର ଅକ୍ଟୋବର-ଡିସେମ୍ବର ଆଧାର ୨୦୦୭ | or | 636 | 597 |
Cite this
CC-BY-SA-4.0tabulartextCite
Tags
task_categories:text-generationtask_categories:fill-maskmultilinguality:multilingualsource_datasets:wikimedia/wikipediasource_datasets:allenai/c4source_datasets:MBZUAI/Bactrian-Xlanguage:bnlanguage:enlanguage:gulanguage:hilanguage:knlanguage:mllanguage:mrlanguage:orlanguage:palanguage:salanguage:talanguage:telanguage:urlicense:cc-by-sa-4.0license:odc-bylicense:cc-by-nc-4.0size_categories:1M<n<10Mformat:parquetmodality:tabularmodality:textlibrary:datasetslibrary:pandaslibrary:polarslibrary:mlcroissantarxiv:1910.10683arxiv:2305.15011region:ustokenizerindic-languagesmultilingual