Demam Berdarah Dengue
Demam berdarah yang kita kenal sehari-hari adalah Demam Berdarah Dengue/DBD (dengue haemorrhagic fever/DHF), yaitu penyakit infeksi tropik yang disebabkan oleh virus dengue. Gejala penyakit ini berupa demam, nyeri otot atau sendi, ruam di kulit, pembesaran kelenjar getah bening terutama di leher, disertai penurunan angka trombosit (sel pembekuan darah) dan angka lekosit (sel darah putih). Pada DBD terjadi rembesan plasma yang ditandai dengan peningkatan hematokrit atau penumpukan cairan di rongga tubuh. DBD dapat menimbulkan renjatan/syok.
Virus penyebab DBD adalah virus dengue yang terdiri dari 4 serotipe, yaiut DEN-1, DEN-2, DEN-3 dan DEN-4. Serotipe terbanyak di Indonesia adalah DEN-3.
Penularan infeksi virus dengue terjadi melalui vektor nyamuk Aedes Aegepty dan Aedes Albopictus. Peningkatan kasus berkaitan dengan sanitasi lingkungan dengan adanya perindukan bagi nyamuk betina seperti tempat penampungan air.
Faktor faktor yang berkaitan dengan peningkatan kejadian DBD antara lain :
Perkembangbiakan nyamuk dan kepadatan nyamuk, terdapat penderita di lingkungan sekitar maupun keluarga, mobilisasi dan paparan dengan nyamuk serta curah hujan, suhu, sanitasi dan kepadatan penduduk.
GEJALA KLINIS DAN PERJALANAN PENYAKIT
Gambaran klinis bervariasi dari tidak bergejala, kemudian demam yang tidak khas sampai dengan gambaran perdarahan (mimisan, bintik bintik merah di kulit) dan yang paling berat dapat menimbulkan syok (penurunan tekanan darah dan gangguan sirkulasi tubuh).
Biasanya penderita mengalami fase demam 2-7 hari, fase kritis berlangsung sekitar 2-3 hari. Pada fase kritis yang terjadi, pasien tidak demam namun dapat terjadi risiko syok jika tidak mendapat pertolongan yang adekuat.
Secara umum pemeriksaan darah yang dilakukan adalah hemoglobin, hematokrit, leukosit (sel darah putih) dan jumlah trombosit. Leukosit dapat normal atau turun. Trombosit menurun pada umumnya hari ke 3-8. kebocoran plasma ditandai dengan peningktan hemtaokrit > 20% dari hematokrit awal pada umumnya dimuali pada hari ke-3. Gangguan fungsi hati terlihat dengan adanya peningkatan SGOT dan SGPT.
Pemeriksaan serologi berupa IgM dengue terdeteksi mulai hari ke 3-5, meningkat sampai minggu ke 3 dan menghilang setelah 2-3 bulan. IgG dengue pada infeksi primer (belum pernah terinfeksi) terdeteksi pada hari ke-14 sedangkan pada infeksi sekunder (pernah terinfeksi) IgG mulai terdeteksi hari ke-2.
Masa inkubasi berlangsung 3-14 hari, dengan gejala tidak khas seperti nyeri kepala, nyeri tulang dan lemah badan.
Kriteria DBD menurut WHO adalah sbb:
Demam 2 – 7 hari biasanya bifasik yaitu demam tinggi hari hari pertama kemudian dapat mencapai suhu normal dan sekitar hai ke 5 diikuti demam lagi.
Terdapat minimal satu manifestasi perdarahan yaitu : uji bendung positif, bintik bintik merah di kulit yang timbul sponatan, perdarahan gusi, mimisan, muntah darah atau buang air besr hitam.
Jumlah trombosit < 100.000/uL
Terdapat minimal satu tanda kebocoran plasma yaitu peningkatan hematokrit >20% awal atau penurunan nilai hematokrit setelah mendapat terapi caira dan tanda tanda kebocoran plasma yaitu terdapat cairan di rongga paru, rongga perut yang diketahui dengan pemeriksaan roentgenologis atau USG, serta penurunan jumlah protein darah.
Derajat penyakit dari derajat 1 sampai dengan 4 yaitu
DBD grade I : demam disertai 2 atau lebih tanda : sakit kepala, nyeri di belakang
bola mata, pegal pegal dan nyeri sendi dengan uji bendung positif.
DBD grade II : gejala diatas disertai perdarahan spontan seperti bintik bintik merah di
kulit, mimisan, perdarah gusi, muntah darah atau berak hitam.
DBD grade III : gejala diatas disertai kegagalan sirkulasi (kulit dingin dan lembab
DBD grade IV: Renjatan/ syok berat dengan tekanan darah dan nadi tidak terukur.
Keempat derajat tersebut selalu disertai parameter laboratorium tombosit <100.000/ul dan ada bukti kebocoran plasma (peningktan hematokrit).
Tidak ada terapi spesifik untuk DBD, yang utama adalah pemeliharaan volume sirkulasi dengan pemberian cairan merupakan hal yang paling prinsip dalam penanganan kasus ini. Asupan cairan dijaga terutama via oral dan bila dengan asupan oral tidak mencukupi maka dibutuhkan cairan melalui infus untuk menghindari dehidrasidan peningkatan hematokrit.
diff --git "a/vocab.txt" "b/vocab.txt" new file mode 100644--- /dev/null +++ "b/vocab.txt" @@ -0,0 +1,32000 @@ +[UNK] +[SEP] +[PAD] +[CLS] +[MASK] +! +" +# +$ +% +& +( +) +* ++ +, +- +. +/ +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +: +; += +? +@ +[ +\ +] +^ +_ +` +a +b +c +d +e +f +g +h +i +j +k +l +m +n +o +p +q +r +s +t +u +v +w +x +y +z +{ +} +~ +¡ +£ +¥ +§ +« +¬ +® +° +± +² +³ +´ +µ +· +¹ +º +» +¼ +½ +¾ +× +ß +æ +ð +÷ +ø +þ +đ +ħ +ı +ł +ŋ +œ +ƒ +ɐ +ɑ +ɒ +ɔ +ə +ɛ +ɡ +ɪ +ʁ +ʃ +ʊ +ʒ +ʔ +ʰ +ʲ +ʻ +ʼ +ʾ +ʿ +ˈ +ˌ +ː +˚ +α +β +γ +δ +ε +ζ +η +θ +ι +κ +λ +μ +ν +ξ +ο +π +ρ +ς +σ +τ +υ +φ +χ +ψ +ω +а +б +в +г +д +е +ж +з +и +к +л +м +н +о +п +р +с +т +у +ф +х +ц +ч +ш +щ +ъ +ы +ь +э +ю +я +і +ј +ћ +қ +ү +ә +ө +ա +ե +ի +կ +հ +մ +յ +ն +ո +ս +տ +ր +ւ +א +ב +ג +ד +ה +ו +ז +ח +ט +י +ך +כ +ל +ם +מ +ן +נ +ס +ע +פ +ץ +צ +ק +ר +ש +ת +، +ء +ا +ب +ة +ت +ث +ج +ح +خ +د +ذ +ر +ز +س +ش +ص +ض +ط +ظ +ع +غ +ـ +ف +ق +ك +ل +م +ن +ه +و +ى +ي +پ +چ +ڠ +ڤ +ک +گ +ہ +ی +ܐ +अ +आ +उ +क +ग +च +ज +ट +ड +ण +त +थ +द +ध +न +प +ब +भ +म +य +र +ल +व +श +ष +स +ह +ा +ि +ी +ो +ক +গ +চ +জ +ত +দ +ন +প +ব +ম +য +র +ল +শ +স +হ +া +ি +ী +ে +ਾ +க +ச +த +ன +ப +ம +ய +ர +ல +ா +ி +ு +ం +క +త +న +ర +ల +ు +ರ +ಾ +ා +ก +ข +ค +ง +จ +ช +ด +ต +ท +ธ +น +บ +ป +พ +ม +ย +ร +ล +ว +ศ +ส +ห +อ +ะ +า +เ +แ +โ +ไ +་ +བ +ར +ས +မ +ာ +း +ა +ე +ვ +თ +ი +ლ +მ +ო +რ +ს +ᄀ +ᄁ +ᄂ +ᄃ +ᄄ +ᄅ +ᄆ +ᄇ +ᄈ +ᄉ +ᄊ +ᄋ +ᄌ +ᄎ +ᄏ +ᄐ +ᄑ +ᄒ +ᅡ +ᅢ +ᅣ +ᅥ +ᅦ +ᅧ +ᅨ +ᅩ +ᅪ +ᅬ +ᅭ +ᅮ +ᅯ +ᅱ +ᅲ +ᅳ +ᅴ +ᅵ +ᆨ +ᆫ +ᆯ +ᆷ +ᆸ +ᆺ +ᆻ +ᆼ +ក +រ +ា +ᨅ +ᨆ +ᨈ +ᨑ +ᨒ +ᨔ +ᨕ +ᨙ +ᨚ +ᴡ +‐ +‑ +– +— +― +‖ +‘ +’ +“ +” +„ +‟ +† +‡ +• +… +‰ +′ +″ +‹ +› +⁄ +⁰ +₩ +€ +₱ +₹ +℃ +ℓ +™ +→ +− +√ +∞ +≈ +≡ +≤ +≥ +⋅ +▪ +● +◦ +★ +☆ +♭ +⟨ +⟩ +ⴰ +、 +。 +〈 +〉 +》 +「 +」 +〜 +あ +い +う +え +お +か +き +く +け +こ +さ +し +す +せ +そ +た +ち +っ +つ +て +と +な +に +ね +の +は +ひ +ふ +へ +ほ +ま +み +め +も +ゃ +や +よ +ら +り +る +れ +ろ +わ +を +ん +ア +ィ +イ +ウ +ェ +エ +オ +カ +キ +ク +ケ +コ +サ +シ +ス +セ +ソ +タ +チ +ッ +ツ +テ +ト +ナ +ニ +ハ +ヒ +フ +ヘ +ホ +マ +ミ +ム +メ +モ +ャ +ヤ +ュ +ョ +ラ +リ +ル +レ +ロ +ワ +ン +・ +ー +一 +丁 +七 +万 +三 +上 +下 +不 +世 +东 +中 +丹 +主 +之 +九 +事 +二 +五 +井 +京 +人 +仁 +今 +仙 +代 +令 +仲 +伊 +会 +伯 +何 +佛 +你 +使 +侯 +保 +信 +偵 +傳 +僕 +元 +先 +光 +全 +八 +公 +六 +共 +兵 +内 +军 +出 +分 +利 +劉 +力 +加 +動 +勝 +化 +北 +区 +區 +十 +千 +华 +南 +博 +原 +友 +口 +古 +台 +史 +号 +司 +合 +吉 +同 +名 +后 +君 +吳 +周 +命 +和 +唐 +商 +四 +回 +国 +國 +園 +圖 +土 +地 +城 +堂 +場 +士 +壽 +夏 +外 +多 +大 +天 +太 +夫 +女 +如 +妃 +始 +姬 +威 +媛 +子 +字 +孝 +学 +孫 +學 +宇 +安 +宋 +宗 +官 +定 +宣 +宮 +家 +宿 +富 +寧 +寶 +寺 +将 +將 +尊 +小 +少 +尚 +尼 +居 +屋 +山 +岳 +島 +川 +州 +工 +左 +市 +布 +帝 +師 +常 +平 +年 +府 +康 +廣 +延 +建 +式 +张 +張 +後 +徐 +御 +德 +心 +志 +忠 +思 +愛 +慶 +成 +我 +戦 +戰 +房 +所 +手 +探 +摩 +政 +教 +敬 +文 +新 +方 +族 +日 +昌 +明 +星 +春 +昭 +是 +時 +景 +曲 +書 +曹 +最 +會 +月 +有 +朝 +木 +本 +朱 +李 +村 +来 +東 +松 +林 +校 +株 +根 +梁 +楊 +楚 +業 +極 +樂 +橋 +機 +歌 +正 +武 +殿 +比 +氏 +民 +水 +永 +江 +沙 +河 +治 +泉 +法 +波 +洋 +洪 +流 +海 +清 +港 +漢 +灣 +火 +無 +物 +特 +玄 +玉 +王 +理 +生 +田 +男 +界 +白 +百 +的 +皇 +目 +直 +相 +真 +知 +石 +社 +祖 +神 +福 +秀 +秋 +科 +秦 +空 +立 +章 +第 +等 +節 +紀 +紫 +經 +縣 +羅 +美 +義 +老 +者 +聖 +胡 +臣 +自 +興 +航 +良 +色 +花 +英 +草 +華 +萬 +葉 +藤 +虎 +行 +衛 +西 +見 +親 +言 +記 +許 +話 +語 +谷 +起 +越 +趙 +路 +軍 +通 +道 +遠 +那 +郎 +郡 +部 +郭 +都 +鄭 +里 +重 +野 +金 +銀 +镇 +長 +长 +門 +開 +關 +阳 +阿 +陈 +限 +院 +陳 +陵 +陽 +隆 +雄 +集 +雪 +雲 +電 +青 +面 +韓 +音 +頭 +風 +飛 +食 +香 +馬 +駅 +高 +鬼 +魂 +魏 +黃 +黄 +龍 +龙 +ꦏ +ꦒ +ꦗ +ꦠ +ꦢ +ꦤ +ꦥ +ꦧ +ꦩ +ꦫ +ꦭ +ꦮ +ꦱ +ꦲ +ꦴ +ꦺ +꧀ +ﷺ +！ +（ +） +， +： +～ + +##u +##d +##a +##r +##t +##n +##l +##i +##b +##g +##h +##o +##m +##s +##e +##x +##5 +##2 +##8 +##9 +##y +##c +##j +##k +##p +##w +##v +##f +##ي +##ر +##ك +##ا +##س +##1 +##ל +##ו +##ן +##α +##ο +##υ +##τ +##ζ +##η +##ς +##z +##6 +##ᅮ +##ᆨ +##4 +##q +##ふ +##く +##צ +##ר +##ת +##и +##а +##ц +##н +##т +##0 +##3 +##7 +##ل +##ح +##و +##ض +##æ +##ι +##β +##ε +##ρ +##δ +##λ +##ł +##ø +##ف +##р +##д +##с +##к +##у +##л +##ч +##ש +##ה +##ص +##ب +##ক +##ᅥ +##ல +##ா +##е +##ћ +##د +##ز +##ى +##ে +##া +##ন +##র +##ن +##ు +##ڠ +##ش +##ی +##ː +##о +##ส +##ม +##า +##ค +##ก +##ร +##ป +##ย +##ช +##ต +##ד +##נ +##ј +##в +##ಾ +##ν +##γ +##פ +##י +##ם +##ि +##क +##ב +##ק +##レ +##シ +##ェ +##ン +##ス +##ի +##ա +##ե +##ி +##ன +##ப +##ு +##ர +##ம +##ш +##қ +##б +##μ +##κ +##ω +##π +##ー +##ト +##м +##щ +##ξ +##χ +##ा +##ल +##ᅩ +##ع +##ت +##は +##る +##ج +##م +##ة +##х +##ق +##г +##ז +##א +##ه +##ء +##ய +##न +##र +##ᅡ +##ᆸ +##ち +##ы +##ı +##ᅧ +##ᆫ +##ヒ +##ウ +##տ +##ր +##ո +##ս +##յ +##ն +##ذ +##σ +##ᆼ +##ッ +##コ +##マ +##フ +##ル +##দ +##ি +##з +##ð +##ħ +##リ +##ᅦ +##ᆯ +##خ +##گ +##մ +##ע +##ך +##द +##מ +##ө +##ह +##ज +##ˈ +##ɔ +##я +##ŋ +##な +##い +##ə +##か +##ら +##て +##し +##こ +##ャ +##ハ +##ж +##ß +##φ +##º +##ʃ +##の +##হ +##క +##स +##ɒ +##ւ +##っ +##た +##タ +##ホ +##ɡ +##ᅵ +##น +##อ +##พ +##ะ +##ท +##ธ +##บ +##จ +##ล +##ง +##य +##θ +##ᨕ +##ᨙ +##ᨔ +##µ +##ь +##ण +##メ +##セ +##э +##ـ +##þ +##ツ +##キ +##স +##च +##і +##п +##ケ +##エ +##テ +##オ +##ܐ +##ာ +##မ +##း +##त +##ब +##ర +##व +##ث +##チ +##ク +##イ +##ү +##よ +##ꦥ +##ʿ +##ᅣ +##ꦺ +##ꦴ +##ア +##แ +##ס +##ो +##ط +##ん +##ゃ +##ɪ +##म +##կ +##ᅳ +##რ +##ო +##ლ +##ე +##ა +##ი +##ს +##サ +##ナ +##ミ +##œ +##ས +##ک +##カ +##ා +##غ +##ɑ +##ʻ +##த +##に +##ひ +##ᆺ +##ी +##ห +##ম +##れ +##ラ +##め +##ল +##য +##ʒ +##ར +##đ +##ɐ +##ব +##ত +##ী +##ध +##ט +##ᅢ +##ʼ +##ᨚ +##ɛ +##ф +##き +##そ +##ರ +##ъ +##り +##ח +##ほ +##へ +##श +##ʲ +##ด +##ま +##ว +##と +##ʊ +##ʔ +##थ +##つ +##ᆷ +##ग +##ꦫ +##ظ +##ਾ +##も +##ⴰ +##ం +##ꦱ +##ꦤ +##ろ +##あ +##ᨒ +##う +##ꦭ +##ꦮ +##თ +##ვ +##ꦢ +##כ +##ヘ +##հ +##み +##す +##ニ +##ᅱ +##ג +##ꦧ +##শ +##お +##を +##ꦗ +##け +##โ +##ʾ +##प +##ᨈ +##త +##ʰ +##ꦠ +##ศ +##ソ +##ᅪ +##ہ +##ә +##پ +##ា +##រ +##ワ +##چ +##ᨑ +##さ +##ڤ +##ꦲ +##ヤ +##や +##ィ +##ム +##ट +##ꦏ +##চ +##भ +##ड +##ల +##গ +##న +##เ +##প +##ꦩ +##せ +##জ +##ロ +##ね +##ᅭ +##ץ +##ᨅ +##ψ +##ச +##ᅲ +##ष +##ュ +##ю +##ˌ +##ョ +##ข +##ᅨ +##მ +##ไ +##え +##ក +##ᆻ +##ᅴ +##ᴡ +##ʁ +##ᨆ +##ℓ +##ᅬ +##ᅯ +##モ +##க +##わ +##ꦒ +##བ +##अ +##ᄇ +##उ +##an +##er +##en +##ar +##ang +##ah +##al +##at +di +se +##am +##in +##as +##ak +##un +##em +##ad +men +##el +##es +##kan +##ya +dan +yang +##is +##tu +##on +##il +##ga +in +##ik +##ari +ke +ber +##us +##ta +##eng +##ada +ter +##bu +per +##or +##ing +##ur +##it +##um +dari +##ia +pada +##ara +##ir +##nya +##id +##ul +##ap +ini +##akan +ad +##ba +mem +##ol +##alah +##uk +##im +##ek +##ama +un +##engan +dengan +##ian +##tuk +##asi +##up +##alam +meng +##om +##ung +mer +##ut +adalah +##le +sep +##ag +dalam +an +untuk +pen +##ti +##ud +##ai +##ro +##ter +tah +##eb +##si +tahun +##et +##gai +##and +##se +20 +##ay +seba +19 +##leh +oleh +##adi +##atan +ju +pem +##os +##aw +##ih +sebagai +##ain +##anya +or +##eg +##elah +##tr +menj +##ok +juga +##but +sp +##uh +##ed +##ber +##aj +##esi +sel +##upakan +merupakan +##bang +##ong +bah +##asa +##atu +##amp +mel +##wa +##apat +##ab +al +kem +bag +##ali +ia +as +##od +menjadi +ser +##sebut +##isi +##ep +kar +pert +peng +ar +##idak +spesi +##ukan +ata +##ent +spesies +##end +tidak +pro +##op +meny +atau +##aan +##ua +##ub +kel +##angan +sek +ind +pr +##pat +##ika +##iri +##ic +bagian +fil +##ahan +set +##ota +itu +201 +dip +ak +##gi +ap +##ot +sem +##ana +tersebut +##buah +##eka +##any +sebuah +##ip +##gal +##ilik +##aya +kep +##anj +mereka +200 +mas +##ena +ker +bar +##ata +##ati +##esar +##ac +##ant +##eta +##int +dapat +dik +am +##uan +seb +##amb +orang +sa +lain +##iliki +##tem +##gun +telah +##ra +pend +satu +##cara +memiliki +kon +neg +bi +##erti +##ri +##ch +leb +des +seperti +##inya +kom +pertama +bahwa +##ew +##ikan +##itas +ag +##aran +is +##lah +##tara +mus +karena +th +kota +##ones +##do +setelah +##angk +##erap +beb +lebih +mend +##orang +sej +dis +ang +film +indones +st +indonesia +##ja +##onal +nama +##etap +##ae +##ui +##gunakan +##ingga +kec +ch +gen +##oh +bel +##per +tem +##ita +seorang +##ili +##og +akan +##erapa +beberapa +tim +##hir +##anyak +secara +saat +at +besar +da +kemud +##asan +##ala +la +##asil +##ind +kemudian +su +##ib +##ayu +##ungan +##ris +##th +##arkan +##rop +##ingk +##alan +ka +tang +bers +tetap +dit +ked +ti +ada +menc +##anc +pas +lal +##ov +##00 +kes +##aman +wil +dia +terd +berk +par +mar +##ula +##tus +ket +##alia +kayu +tr +lag +fam +negara +##enal +##sa +dir +banyak +desa +##imp +dil +memb +##unan +##man +para +##entuk +ordo +um +kali +apos +sen +##tur +##uar +pel +##uj +genus +##olong +##buat +##bit +##eh +##iv +##ulai +the +bahasa +##idup +ek +nam +kelas +##ob +terg +##oid +##ec +##asanya +##gan +antara +dim +dua +18 +##aja +famili +salah +tan +man +199 +##erint +##mi +biasanya +##la +kum +##han +aster +##ayah +sang +peny +##erah +tanggal +aw +##unya +##akukan +wilayah +mengh +amer +##uran +##ka +ab +##unia +berb +tergolong +pol +tetapi +##ev +##tak +samp +##li +asteroid +##idae +har +sed +bul +atas +il +##ers +##anjang +sebel +dunia +##ug +kumbang +hal +mes +put +sebelum +anak +##tor +baru +##orm +##asional +##if +amerika +##ima +br +ting +mak +ut +##emp +pemerint +namun +pl +lalat +did +anim +##itar +##eri +send +en +##aitu +hingga +kepada +de +sh +bat +yaitu +##entara +##mas +akhir +tempat +##angkan +selama +umum +me +hidup +##ikut +##umlah +so +##ingan +sis +##tar +##oda +berd +pes +##na +dib +ger +##ig +hari +mat +hanya +ing +sendiri +rum +##yar +##tera +menye +ba +##annya +terb +##ingkat +##ina +ketika +##uruh +##adap +angg +##anda +king +##und +digunakan +sampai +wak +##uku +##to +##embang +din +##unc +sama +##tai +##bab +##awan +bis +##unj +pal +ku +ma +kh +##usia +pers +seh +##asih +terle +##bali +##dom +##ten +serta +daerah +##ard +sekitar +gr +memper +##iap +lagu +##tan +diter +##akar +bang +##ni +air +##ikat +##ode +filum +kek +sangat +kingdom +animalia +disebut +arth +us +terj +bersama +##arang +##udah +cer +barat +##su +re +masa +##uduk +##cta +kedua +of +lainnya +sejak +##duk +inse +pern +##ropoda +##ea +inter +selatan +arthropoda +##arah +kap +insecta +awal +kembali +##olo +##amatan +##ting +berh +sur +##omp +teng +##usah +terletak +timur +bulan +res +sum +dikenal +198 +##ses +##ori +##ikasi +beras +##ungk +anggota +##olah +##entang +diper +menggunakan +##ans +##ons +memp +col +##oc +##ont +##awa +terh +##akat +##ow +tel +membuat +##ilih +war +##uas +##di +##itik +pula +##ulis +perm +##babkan +si +kor +##impin +##est +komp +berp +##gian +keb +##angg +mulai +##ini +berasal +kl +member +panjang +##uda +##atakan +##alui +##paten +kabu +ditem +pemb +sm +12 +eks +##y
diff --git "a/vocab.txt" "b/vocab.txt" new file mode 100644--- /dev/null +++ "b/vocab.txt" @@ -0,0 +1,32000 @@ +[UNK] +[SEP] +[PAD] +[CLS] +[MASK] +! +" +# +$ +% +& +( +) +* ++ +, +- +. +/ +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +: +; += +? +@ +[ +\ +] +^ +_ +` +a +b +c +d +e +f +g +h +i +j +k +l +m +n +o +p +q +r +s +t +u +v +w +x +y +z +{ +} +~ +¡ +£ +¥ +§ +« +¬ +® +° +± +² +³ +´ +µ +· +¹ +º +» +¼ +½ +¾ +× +ß +æ +ð +÷ +ø +þ +đ +ħ +ı +ł +ŋ +œ +ƒ +ɐ +ɑ +ɒ +ɔ +ə +ɛ +ɡ +ɪ +ʁ +ʃ +ʊ +ʒ +ʔ +ʰ +ʲ +ʻ +ʼ +ʾ +ʿ +ˈ +ˌ +ː +˚ +α +β +γ +δ +ε +ζ +η +θ +ι +κ +λ +μ +ν +ξ +ο +π +ρ +ς +σ +τ +υ +φ +χ +ψ +ω +а +б +в +г +д +е +ж +з +и +к +л +м +н +о +п +р +с +т +у +ф +х +ц +ч +ш +щ +ъ +ы +ь +э +ю +я +і +ј +ћ +қ +ү +ә +ө +ա +ե +ի +կ +հ +մ +յ +ն +ո +ս +տ +ր +ւ +א +ב +ג +ד +ה +ו +ז +ח +ט +י +ך +כ +ל +ם +מ +ן +נ +ס +ע +פ +ץ +צ +ק +ר +ש +ת +، +ء +ا +ب +ة +ت +ث +ج +ح +خ +د +ذ +ر +ز +س +ش +ص +ض +ط +ظ +ع +غ +ـ +ف +ق +ك +ل +م +ن +ه +و +ى +ي +پ +چ +ڠ +ڤ +ک +گ +ہ +ی +ܐ +अ +आ +उ +क +ग +च +ज +ट +ड +ण +त +थ +द +ध +न +प +ब +भ +म +य +र +ल +व +श +ष +स +ह +ा +ि +ी +ो +ক +গ +চ +জ +ত +দ +ন +প +ব +ম +য +র +ল +শ +স +হ +া +ি +ী +ে +ਾ +க +ச +த +ன +ப +ம +ய +ர +ல +ா +ி +ு +ం +క +త +న +ర +ల +ు +ರ +ಾ +ා +ก +ข +ค +ง +จ +ช +ด +ต +ท +ธ +น +บ +ป +พ +ม +ย +ร +ล +ว +ศ +ส +ห +อ +ะ +า +เ +แ +โ +ไ +་ +བ +ར +ས +မ +ာ +း +ა +ე +ვ +თ +ი +ლ +მ +ო +რ +ს +ᄀ +ᄁ +ᄂ +ᄃ +ᄄ +ᄅ +ᄆ +ᄇ +ᄈ +ᄉ +ᄊ +ᄋ +ᄌ +ᄎ +ᄏ +ᄐ +ᄑ +ᄒ +ᅡ +ᅢ +ᅣ +ᅥ +ᅦ +ᅧ +ᅨ +ᅩ +ᅪ +ᅬ +ᅭ +ᅮ +ᅯ +ᅱ +ᅲ +ᅳ +ᅴ +ᅵ +ᆨ +ᆫ +ᆯ +ᆷ +ᆸ +ᆺ +ᆻ +ᆼ +ក +រ +ា +ᨅ +ᨆ +ᨈ +ᨑ +ᨒ +ᨔ +ᨕ +ᨙ +ᨚ +ᴡ +‐ +‑ +– +— +― +‖ +‘ +’ +“ +” +„ +‟ +† +‡ +• +… +‰ +′ +″ +‹ +› +⁄ +⁰ +₩ +€ +₱ +₹ +℃ +ℓ +™ +→ +− +√ +∞ +≈ +≡ +≤ +≥ +⋅ +▪ +● +◦ +★ +☆ +♭ +⟨ +⟩ +ⴰ +、 +。 +〈 +〉 +》 +「 +」 +〜 +あ +い +う +え +お +か +き +く +け +こ +さ +し +す +せ +そ +た +ち +っ +つ +て +と +な +に +ね +の +は +ひ +ふ +へ +ほ +ま +み +め +も +ゃ +や +よ +ら +り +る +れ +ろ +わ +を +ん +ア +ィ +イ +ウ +ェ +エ +オ +カ +キ +ク +ケ +コ +サ +シ +ス +セ +ソ +タ +チ +ッ +ツ +テ +ト +ナ +ニ +ハ +ヒ +フ +ヘ +ホ +マ +ミ +ム +メ +モ +ャ +ヤ +ュ +ョ +ラ +リ +ル +レ +ロ +ワ +ン +・ +ー +一 +丁 +七 +万 +三 +上 +下 +不 +世 +东 +中 +丹 +主 +之 +九 +事 +二 +五 +井 +京 +人 +仁 +今 +仙 +代 +令 +仲 +伊 +会 +伯 +何 +佛 +你 +使 +侯 +保 +信 +偵 +傳 +僕 +元 +先 +光 +全 +八 +公 +六 +共 +兵 +内 +军 +出 +分 +利 +劉 +力 +加 +動 +勝 +化 +北 +区 +區 +十 +千 +华 +南 +博 +原 +友 +口 +古 +台 +史 +号 +司 +合 +吉 +同 +名 +后 +君 +吳 +周 +命 +和 +唐 +商 +四 +回 +国 +國 +園 +圖 +土 +地 +城 +堂 +場 +士 +壽 +夏 +外 +多 +大 +天 +太 +夫 +女 +如 +妃 +始 +姬 +威 +媛 +子 +字 +孝 +学 +孫 +學 +宇 +安 +宋 +宗 +官 +定 +宣 +宮 +家 +宿 +富 +寧 +寶 +寺 +将 +將 +尊 +小 +少 +尚 +尼 +居 +屋 +山 +岳 +島 +川 +州 +工 +左 +市 +布 +帝 +師 +常 +平 +年 +府 +康 +廣 +延 +建 +式 +张 +張 +後 +徐 +御 +德 +心 +志 +忠 +思 +愛 +慶 +成 +我 +戦 +戰 +房 +所 +手 +探 +摩 +政 +教 +敬 +文 +新 +方 +族 +日 +昌 +明 +星 +春 +昭 +是 +時 +景 +曲 +書 +曹 +最 +會 +月 +有 +朝 +木 +本 +朱 +李 +村 +来 +東 +松 +林 +校 +株 +根 +梁 +楊 +楚 +業 +極 +樂 +橋 +機 +歌 +正 +武 +殿 +比 +氏 +民 +水 +永 +江 +沙 +河 +治 +泉 +法 +波 +洋 +洪 +流 +海 +清 +港 +漢 +灣 +火 +無 +物 +特 +玄 +玉 +王 +理 +生 +田 +男 +界 +白 +百 +的 +皇 +目 +直 +相 +真 +知 +石 +社 +祖 +神 +福 +秀 +秋 +科 +秦 +空 +立 +章 +第 +等 +節 +紀 +紫 +經 +縣 +羅 +美 +義 +老 +者 +聖 +胡 +臣 +自 +興 +航 +良 +色 +花 +英 +草 +華 +萬 +葉 +藤 +虎 +行 +衛 +西 +見 +親 +言 +記 +許 +話 +語 +谷 +起 +越 +趙 +路 +軍 +通 +道 +遠 +那 +郎 +郡 +部 +郭 +都 +鄭 +里 +重 +野 +金 +銀 +镇 +長 +长 +門 +開 +關 +阳 +阿 +陈 +限 +院 +陳 +陵 +陽 +隆 +雄 +集 +雪 +雲 +電 +青 +面 +韓 +音 +頭 +風 +飛 +食 +香 +馬 +駅 +高 +鬼 +魂 +魏 +黃 +黄 +龍 +龙 +ꦏ +ꦒ +ꦗ +ꦠ +ꦢ +ꦤ +ꦥ +ꦧ +ꦩ +ꦫ +ꦭ +ꦮ +ꦱ +ꦲ +ꦴ +ꦺ +꧀ +ﷺ +！ +（ +） +， +： +～ + +##u +##d +##a +##r +##t +##n +##l +##i +##b +##g +##h +##o +##m +##s +##e +##x +##5 +##2 +##8 +##9 +##y +##c +##j +##k +##p +##w +##v +##f +##ي +##ر +##ك +##ا +##س +##1 +##ל +##ו +##ן +##α +##ο +##υ +##τ +##ζ +##η +##ς +##z +##6 +##ᅮ +##ᆨ +##4 +##q +##ふ +##く +##צ +##ר +##ת +##и +##а +##ц +##н +##т +##0 +##3 +##7 +##ل +##ح +##و +##ض +##æ +##ι +##β +##ε +##ρ +##δ +##λ +##ł +##ø +##ف +##р +##д +##с +##к +##у +##л +##ч +##ש +##ה +##ص +##ب +##ক +##ᅥ +##ல +##ா +##е +##ћ +##د +##ز +##ى +##ে +##া +##ন +##র +##ن +##ు +##ڠ +##ش +##ی +##ː +##о +##ส +##ม +##า +##ค +##ก +##ร +##ป +##ย +##ช +##ต +##ד +##נ +##ј +##в +##ಾ +##ν +##γ +##פ +##י +##ם +##ि +##क +##ב +##ק +##レ +##シ +##ェ +##ン +##ス +##ի +##ա +##ե +##ி +##ன +##ப +##ு +##ர +##ம +##ш +##қ +##б +##μ +##κ +##ω +##π +##ー +##ト +##м +##щ +##ξ +##χ +##ा +##ल +##ᅩ +##ع +##ت +##は +##る +##ج +##م +##ة +##х +##ق +##г +##ז +##א +##ه +##ء +##ய +##न +##र +##ᅡ +##ᆸ +##ち +##ы +##ı +##ᅧ +##ᆫ +##ヒ +##ウ +##տ +##ր +##ո +##ս +##յ +##ն +##ذ +##σ +##ᆼ +##ッ +##コ +##マ +##フ +##ル +##দ +##ি +##з +##ð +##ħ +##リ +##ᅦ +##ᆯ +##خ +##گ +##մ +##ע +##ך +##द +##מ +##ө +##ह +##ज +##ˈ +##ɔ +##я +##ŋ +##な +##い +##ə +##か +##ら +##て +##し +##こ +##ャ +##ハ +##ж +##ß +##φ +##º +##ʃ +##の +##হ +##క +##स +##ɒ +##ւ +##っ +##た +##タ +##ホ +##ɡ +##ᅵ +##น +##อ +##พ +##ะ +##ท +##ธ +##บ +##จ +##ล +##ง +##य +##θ +##ᨕ +##ᨙ +##ᨔ +##µ +##ь +##ण +##メ +##セ +##э +##ـ +##þ +##ツ +##キ +##স +##च +##і +##п +##ケ +##エ +##テ +##オ +##ܐ +##ာ +##မ +##း +##त +##ब +##ర +##व +##ث +##チ +##ク +##イ +##ү +##よ +##ꦥ +##ʿ +##ᅣ +##ꦺ +##ꦴ +##ア +##แ +##ס +##ो +##ط +##ん +##ゃ +##ɪ +##म +##կ +##ᅳ +##რ +##ო +##ლ +##ე +##ა +##ი +##ს +##サ +##ナ +##ミ +##œ +##ས +##ک +##カ +##ා +##غ +##ɑ +##ʻ +##த +##に +##ひ +##ᆺ +##ी +##ห +##ম +##れ +##ラ +##め +##ল +##য +##ʒ +##ར +##đ +##ɐ +##ব +##ত +##ী +##ध +##ט +##ᅢ +##ʼ +##ᨚ +##ɛ +##ф +##き +##そ +##ರ +##ъ +##り +##ח +##ほ +##へ +##श +##ʲ +##ด +##ま +##ว +##と +##ʊ +##ʔ +##थ +##つ +##ᆷ +##ग +##ꦫ +##ظ +##ਾ +##も +##ⴰ +##ం +##ꦱ +##ꦤ +##ろ +##あ +##ᨒ +##う +##ꦭ +##ꦮ +##თ +##ვ +##ꦢ +##כ +##ヘ +##հ +##み +##す +##ニ +##ᅱ +##ג +##ꦧ +##শ +##お +##を +##ꦗ +##け +##โ +##ʾ +##प +##ᨈ +##త +##ʰ +##ꦠ +##ศ +##ソ +##ᅪ +##ہ +##ә +##پ +##ា +##រ +##ワ +##چ +##ᨑ +##さ +##ڤ +##ꦲ +##ヤ +##や +##ィ +##ム +##ट +##ꦏ +##চ +##भ +##ड +##ల +##গ +##న +##เ +##প +##ꦩ +##せ +##জ +##ロ +##ね +##ᅭ +##ץ +##ᨅ +##ψ +##ச +##ᅲ +##ष +##ュ +##ю +##ˌ +##ョ +##ข +##ᅨ +##მ +##ไ +##え +##ក +##ᆻ +##ᅴ +##ᴡ +##ʁ +##ᨆ +##ℓ +##ᅬ +##ᅯ +##モ +##க +##わ +##ꦒ +##བ +##अ +##ᄇ +##उ +##an +##er +##en +##ar +##ang +##ah +##al +##at +di +se +##am +##in +##as +##ak +##un +##em +##ad +men +##el +##es +##kan +##ya +dan +yang +##is +##tu +##on +##il +##ga +in +##ik +##ari +ke +ber +##us +##ta +##eng +##ada +ter +##bu +per +##or +##ing +##ur +##it +##um +dari +##ia +pada +##ara +##ir +##nya +##id +##ul +##ap +ini +##akan +ad +##ba +mem +##ol +##alah +##uk +##im +##ek +##ama +un +##engan +dengan +##ian +##tuk +##asi +##up +##alam +meng +##om +##ung +mer +##ut +adalah +##le +sep +##ag +dalam +an +untuk +pen +##ti +##ud +##ai +##ro +##ter +tah +##eb +##si +tahun +##et +##gai +##and +##se +20 +##ay +seba +19 +##leh +oleh +##adi +##atan +ju +pem +##os +##aw +##ih +sebagai +##ain +##anya +or +##eg +##elah +##tr +menj +##ok +juga +##but +sp +##uh +##ed +##ber +##aj +##esi +sel +##upakan +merupakan +##bang +##ong +bah +##asa +##atu +##amp +mel +##wa +##apat +##ab +al +kem +bag +##ali +ia +as +##od +menjadi +ser +##sebut +##isi +##ep +kar +pert +peng +ar +##idak +spesi +##ukan +ata +##ent +spesies +##end +tidak +pro +##op +meny +atau +##aan +##ua +##ub +kel +##angan +sek +ind +pr +##pat +##ika +##iri +##ic +bagian +fil +##ahan +set +##ota +itu +201 +dip +ak +##gi +ap +##ot +sem +##ana +tersebut +##buah +##eka +##any +sebuah +##ip +##gal +##ilik +##aya +kep +##anj +mereka +200 +mas +##ena +ker +bar +##ata +##ati +##esar +##ac +##ant +##eta +##int +dapat +dik +am +##uan +seb +##amb +orang +sa +lain +##iliki +##tem +##gun +telah +##ra +pend +satu +##cara +memiliki +kon +neg +bi +##erti +##ri +##ch +leb +des +seperti +##inya +kom +pertama +bahwa +##ew +##ikan +##itas +ag +##aran +is +##lah +##tara +mus +karena +th +kota +##ones +##do +setelah +##angk +##erap +beb +lebih +mend +##orang +sej +dis +ang +film +indones +st +indonesia +##ja +##onal +nama +##etap +##ae +##ui +##gunakan +##ingga +kec +ch +gen +##oh +bel +##per +tem +##ita +seorang +##ili +##og +akan +##erapa +beberapa +tim +##hir +##anyak +secara +saat +at +besar +da +kemud +##asan +##ala +la +##asil +##ind +kemudian +su +##ib +##ayu +##ungan +##ris +##th +##arkan +##rop +##ingk +##alan +ka +tang +bers +tetap +dit +ked +ti +ada +menc +##anc +pas +lal +##ov +##00 +kes +##aman +wil +dia +terd +berk +par +mar +##ula +##tus +ket +##alia +kayu +tr +lag +fam +negara +##enal +##sa +dir +banyak +desa +##imp +dil +memb +##unan +##man +para +##entuk +ordo +um +kali +apos +sen +##tur +##uar +pel +##uj +genus +##olong +##buat +##bit +##eh +##iv +##ulai +the +bahasa +##idup +ek +nam +kelas +##ob +terg +##oid +##ec +##asanya +##gan +antara +dim +dua +18 +##aja +famili +salah +tan +man +199 +##erint +##mi +biasanya +##la +kum +##han +aster +##ayah +sang +peny +##erah +tanggal +aw +##unya +##akukan +wilayah +mengh +amer +##uran +##ka +ab +##unia +berb +tergolong +pol +tetapi +##ev +##tak +samp +##li +asteroid +##idae +har +sed +bul +atas +il +##ers +##anjang +sebel +dunia +##ug +kumbang +hal +mes +put +sebelum +anak +##tor +baru +##orm +##asional +##if +amerika +##ima +br +ting +mak +ut +##emp +pemerint +namun +pl +lalat +did +anim +##itar +##eri +send +en +##aitu +hingga +kepada +de +sh +bat +yaitu +##entara +##mas +akhir +tempat +##angkan +selama +umum +me +hidup +##ikut +##umlah +so +##ingan +sis +##tar +##oda +berd +pes +##na +dib +ger +##ig +hari +mat +hanya +ing +sendiri +rum +##yar +##tera +menye +ba +##annya +terb +##ingkat +##ina +ketika +##uruh +##adap +angg +##anda +king +##und +digunakan +sampai +wak +##uku +##to +##embang +din +##unc +sama +##tai +##bab +##awan +bis +##unj +pal +ku +ma +kh +##usia +pers +seh +##asih +terle +##bali +##dom +##ten +serta +daerah +##ard +sekitar +gr +memper +##iap +lagu +##tan +diter +##akar +bang +##ni +air +##ikat +##ode +filum +kek +sangat +kingdom +animalia +disebut +arth +us +terj +bersama +##arang +##udah +cer +barat +##su +re +masa +##uduk +##cta +kedua +of +lainnya +sejak +##duk +inse +pern +##ropoda +##ea +inter +selatan +arthropoda +##arah +kap +insecta +awal +kembali +##olo +##amatan +##ting +berh +sur +##omp +teng +##usah +terletak +timur +bulan +res +sum +dikenal +198 +##ses +##ori +##ikasi +beras +##ungk +anggota +##olah +##entang +diper +menggunakan +##ans +##ons +memp +col +##oc +##ont +##awa +terh +##akat +##ow +tel +membuat +##ilih +war +##uas +##di +##itik +pula +##ulis +perm +##babkan +si +kor +##impin +##est +komp +berp +##gian +keb +##angg +mulai +##ini +berasal +kl +member +panjang +##uda +##atakan +##alui +##paten +kabu +ditem +pemb +sm +12 +eks +##y
diff --git a/README.md b/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7f63a5c33ae670658ac096bd4a5b8c1ce78da551 --- /dev/null +++ b/README.md @@ -0,0 +1,69 @@ +--- +language: id +tags: +- pipeline:summarization +- summarization +- bert2gpt +datasets: +- id_liputan6 +license: apache-2.0 +--- + +# Indonesian BERT2BERT Summarization Model + +Finetuned EncoderDecoder model using BERT-base and GPT2-small for Indonesian text summarization. + +## Finetuning Corpus + +`bert2gpt-indonesian-summarization` model is based on `cahya/bert-base-indonesian-1.5G` and `cahya/gpt2-small-indonesian-522M`by [cahya](https://huggingface.co/cahya), finetuned using [id_liputan6](https://huggingface.co/datasets/id_liputan6) dataset. + +## Load Finetuned Model + +```python +from transformers import BertTokenizer, EncoderDecoderModel + +tokenizer = BertTokenizer.from_pretrained("cahya/bert2gpt-indonesian-summarization") +tokenizer.bos_token = tokenizer.cls_token +tokenizer.eos_token = tokenizer.sep_token +model = EncoderDecoderModel.from_pretrained("cahya/bert2gpt-indonesian-summarization") +``` + +## Code Sample + +```python +from transformers import BertTokenizer, EncoderDecoderModel + +tokenizer = BertTokenizer.from_pretrained("cahya/bert2gpt-indonesian-summarization") +tokenizer.bos_token = tokenizer.cls_token +tokenizer.eos_token = tokenizer.sep_token +model = EncoderDecoderModel.from_pretrained("cahya/bert2gpt-indonesian-summarization") + +# +ARTICLE_TO_SUMMARIZE = "" + +# generate summary +input_ids = tokenizer.encode(ARTICLE_TO_SUMMARIZE, return_tensors='pt') +summary_ids = model.generate(input_ids, + min_length=20, + max_length=80, + num_beams=10, + repetition_penalty=2.5, + length_penalty=1.0, + early_stopping=True, + no_repeat_ngram_size=2, + use_cache=True, + do_sample = True, + temperature = 0.8, + top_k = 50, + top_p = 0.95) + +summary_text = tokenizer.decode(summary_ids[0], skip_special_tokens=True) +print(summary_text) +``` + +Output: + +``` + +``` + diff --git a/config.json b/config.json new file mode 100644 index 0000000000000000000000000000000000000000..a63eb1283b18829aff6b987b7306b26308b587e6 --- /dev/null +++ b/config.json @@ -0,0 +1,164 @@ +{ + "architectures": [ + "EncoderDecoderModel" + ], + "decoder": { + "_name_or_path": "cahya/gpt2-small-indonesian-522M", + "activation_function": "gelu_new", + "add_cross_attention": true, + "architectures": [ + "GPT2LMHeadModel" + ], + "attn_pdrop": 0.1, + "bad_words_ids": null, + "bos_token_id": 50256, + "chunk_size_feed_forward": 0, + "decoder_start_token_id": null, + "diversity_penalty": 0.0, + "do_sample": false, + "early_stopping": false, + "embd_pdrop": 0.1, + "encoder_no_repeat_ngram_size": 0, + "eos_token_id": 50256, + "finetuning_task": null, + "gradient_checkpointing": false, + "id2label": { + "0": "LABEL_0", + "1": "LABEL_1" + }, + "initializer_range": 0.02, + "is_decoder": true, + "is_encoder_decoder": false, + "label2id": { + "LABEL_0": 0, + "LABEL_1": 1 + }, + "layer_norm_epsilon": 1e-05, + "length_penalty": 1.0, + "max_length": 20, + "min_length": 0, + "model_type": "gpt2", + "n_ctx": 1024, + "n_embd": 768, + "n_head": 12, + "n_inner": null, + "n_layer": 12, + "n_positions": 1024, + "no_repeat_ngram_size": 0, + "num_beam_groups": 1, + "num_beams": 1, + "num_return_sequences": 1, + "output_attentions": false, + "output_hidden_states": false, + "output_scores": false, + "pad_token_id": null, + "prefix": null, + "pruned_heads": {}, + "repetition_penalty": 1.0, + "resid_pdrop": 0.1, + "return_dict": true, + "return_dict_in_generate": false, + "sep_token_id": null, + "summary_activation": null, + "summary_first_dropout": 0.1, + "summary_proj_to_labels": true, + "summary_type": "cls_index", + "summary_use_proj": true, + "task_specific_params": null, + "temperature": 1.0, + "tie_encoder_decoder": false, + "tie_word_embeddings": true, + "tokenizer_class": null, + "top_k": 50, + "top_p": 1.0, + "torchscript": false, + "transformers_version": "4.4.0.dev0", + "use_bfloat16": false, + "use_cache": true, + "vocab_size": 50257, + "xla_device": null + }, + "decoder_start_token_id": 3, + "early_stopping": true, + "encoder": { + "_name_or_path": "cahya/bert-base-indonesian-1.5G", + "add_cross_attention": false, + "architectures": [ + "BertForMaskedLM" + ], + "attention_probs_dropout_prob": 0.1, + "bad_words_ids": null, + "bos_token_id": null, + "chunk_size_feed_forward": 0, + "decoder_start_token_id": null, + "diversity_penalty": 0.0, + "do_sample": false, + "early_stopping": false, + "encoder_no_repeat_ngram_size": 0, + "eos_token_id": null, + "finetuning_task": null, + "gradient_checkpointing": false, + "hidden_act": "gelu", + "hidden_dropout_prob": 0.1, + "hidden_size": 768, + "id2label": { + "0": "LABEL_0", + "1": "LABEL_1" + }, + "initializer_range": 0.02, + "intermediate_size": 3072, + "is_decoder": false, + "is_encoder_decoder": false, + "label2id": { + "LABEL_0": 0, + "LABEL_1": 1 + }, + "layer_norm_eps": 1e-12, + "length_penalty": 1.0, + "max_length": 20, + "max_position_embeddings": 512, + "min_length": 0, + "model_type": "bert", + "no_repeat_ngram_size": 0, + "num_attention_heads": 12, + "num_beam_groups": 1, + "num_beams": 1, + "num_hidden_layers": 12, + "num_return_sequences": 1, + "output_attentions": false, + "output_hidden_states": false, + "output_scores": false, + "pad_token_id": 0, + "position_embedding_type": "absolute", + "prefix": null, + "pruned_heads": {}, + "repetition_penalty": 1.0, + "return_dict": true, + "return_dict_in_generate": false, + "sep_token_id": null, + "task_specific_params": null, + "temperature": 1.0, + "tie_encoder_decoder": false, + "tie_word_embeddings": true, + "tokenizer_class": null, + "top_k": 50, + "top_p": 1.0, + "torchscript": false, + "transformers_version": "4.4.0.dev0", + "type_vocab_size": 2, + "use_bfloat16": false, + "use_cache": true, + "vocab_size": 32000, + "xla_device": null + }, + "eos_token_id": 1, + "is_encoder_decoder": true, + "length_penalty": 2.0, + "max_length": 40, + "min_length": 20, + "model_type": "encoder-decoder", + "no_repeat_ngram_size": 3, + "num_beams": 10, + "pad_token_id": 2, + "vocab_size": 50257 +} diff --git a/pytorch_model.bin b/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..7706587fc734e078196a8868d14e24f96598a1b7 --- /dev/null +++ b/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3a8a5e8b8a4539592118c54b98a45e63e47dc9578915f9873dd36ef457922774 +size 1079069947 diff --git a/special_tokens_map.json b/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..e7b0375001f109a6b8873d756ad4f7bbb15fbaa5 --- /dev/null +++ b/special_tokens_map.json @@ -0,0 +1 @@ +{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]"} \ No newline at end of file diff --git a/tokenizer_config.json b/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..18d63e03c656615691d7e3b5e75c217d4088c357 --- /dev/null +++ b/tokenizer_config.json @@ -0,0 +1 @@ +{"special_tokens_map_file": null, "full_tokenizer_file": null} \ No newline at end of file diff --git a/vocab.txt b/vocab.txt new file mode 100644 index 0000000000000000000000000000000000000000..e543ec5dec53db3d45c58e0a9c432a4a00fcf018 --- /dev/null +++ b/vocab.txt @@ -0,0 +1,32000 @@ +[UNK] +[SEP] +[PAD] +[CLS] +[MASK] +! +" +# +$ +% +& +( +) +* ++ +, +- +. +/ +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +: +; += +? +@ +[ +\ +] +^ +_ +` +a +b +c +d +e +f +g +h +i +j +k +l +m +n +o +p +q +r +s +t +u +v +w +x +y +z +{ +} +~ +¡ +£ +¥ +§ +« +¬ +® +° +± +² +³ +´ +µ +· +¹ +º +» +¼ +½ +¾ +× +ß +æ +ð +÷ +ø +þ +đ +ħ +ı +ł +ŋ +œ +ƒ +ɐ +ɑ +ɒ +ɔ +ə +ɛ +ɡ +ɪ +ʁ +ʃ +ʊ +ʒ +ʔ +ʰ +ʲ +ʻ +ʼ +ʾ +ʿ +ˈ +ˌ +ː +˚ +α +β +γ +δ +ε +ζ +η +θ +ι +κ +λ +μ +ν +ξ +ο +π +ρ +ς +σ +τ +υ +φ +χ +ψ +ω +а +б +в +г +д +е +ж +з +и +к +л +м +н +о +п +р +с +т +у +ф +х +ц +ч +ш +щ +ъ +ы +ь +э +ю +я +і +ј +ћ +қ +ү +ә +ө +ա +ե +ի +կ +հ +մ +յ +ն +ո +ս +տ +ր +ւ +א +ב +ג +ד +ה +ו +ז +ח +ט +י +ך +כ +ל +ם +מ +ן +נ +ס +ע +פ +ץ +צ +ק +ר +ש +ת +، +ء +ا +ب +ة +ت +ث +ج +ح +خ +د +ذ +ر +ز +س +ش +ص +ض +ط +ظ +ع +غ +ـ +ف +ق +ك +ل +م +ن +ه +و +ى +ي +پ +چ +ڠ +ڤ +ک +گ +ہ +ی +ܐ +अ +आ +उ +क +ग +च +ज +ट +ड +ण +त +थ +द +ध +न +प +ब +भ +म +य +र +ल +व +श +ष +स +ह +ा +ि +ी +ो +ক +গ +চ +জ +ত +দ +ন +প +ব +ম +য +র +ল +শ +স +হ +া +ি +ী +ে +ਾ +க +ச +த +ன +ப +ம +ய +ர +ல +ா +ி +ு +ం +క +త +న +ర +ల +ు +ರ +ಾ +ා +ก +ข +ค +ง +จ +ช +ด +ต +ท +ธ +น +บ +ป +พ +ม +ย +ร +ล +ว +ศ +ส +ห +อ +ะ +า +เ +แ +โ +ไ +་ +བ +ར +ས +မ +ာ +း +ა +ე +ვ +თ +ი +ლ +მ +ო +რ +ს +ᄀ +ᄁ +ᄂ +ᄃ +ᄄ +ᄅ +ᄆ +ᄇ +ᄈ +ᄉ +ᄊ +ᄋ +ᄌ +ᄎ +ᄏ +ᄐ +ᄑ +ᄒ +ᅡ +ᅢ +ᅣ +ᅥ +ᅦ +ᅧ +ᅨ +ᅩ +ᅪ +ᅬ +ᅭ +ᅮ +ᅯ +ᅱ +ᅲ +ᅳ +ᅴ +ᅵ +ᆨ +ᆫ +ᆯ +ᆷ +ᆸ +ᆺ +ᆻ +ᆼ +ក +រ +ា +ᨅ +ᨆ +ᨈ +ᨑ +ᨒ +ᨔ +ᨕ +ᨙ +ᨚ +ᴡ +‐ +‑ +– +— +― +‖ +‘ +’ +“ +” +„ +‟ +† +‡ +• +… +‰ +′ +″ +‹ +› +⁄ +⁰ +₩ +€ +₱ +₹ +℃ +ℓ +™ +→ +− +√ +∞ +≈ +≡ +≤ +≥ +⋅ +▪ +● +◦ +★ +☆ +♭ +⟨ +⟩ +ⴰ +、 +。 +〈 +〉 +》 +「 +」 +〜 +あ +い +う +え +お +か +き +く +け +こ +さ +し +す +せ +そ +た +ち +っ +つ +て +と +な +に +ね +の +は +ひ +ふ +へ +ほ +ま +み +め +も +ゃ +や +よ +ら +り +る +れ +ろ +わ +を +ん +ア +ィ +イ +ウ +ェ +エ +オ +カ +キ +ク +ケ +コ +サ +シ +ス +セ +ソ +タ +チ +ッ +ツ +テ +ト +ナ +ニ +ハ +ヒ +フ +ヘ +ホ +マ +ミ +ム +メ +モ +ャ +ヤ +ュ +ョ +ラ +リ +ル +レ +ロ +ワ +ン +・ +ー +一 +丁 +七 +万 +三 +上 +下 +不 +世 +东 +中 +丹 +主 +之 +九 +事 +二 +五 +井 +京 +人 +仁 +今 +仙 +代 +令 +仲 +伊 +会 +伯 +何 +佛 +你 +使 +侯 +保 +信 +偵 +傳 +僕 +元 +先 +光 +全 +八 +公 +六 +共 +兵 +内 +军 +出 +分 +利 +劉 +力 +加 +動 +勝 +化 +北 +区 +
