01-indobart-bertopic-02.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os, sys\n",
    "import torch\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "from datasets import load_dataset\n",
    "import json\n",
    "\n",
    "import nltk\n",
    "import evaluate\n",
    "from transformers import DataCollatorForSeq2Seq, AutoTokenizer\n",
    "from transformers import AutoModelForSeq2SeqLM, Seq2SeqTrainingArguments, Seq2SeqTrainer\n",
    "from transformers import pipeline\n",
    "from transformers import BertTokenizer, AutoModel\n",
    "\n",
    "from umap import UMAP\n",
    "from hdbscan import HDBSCAN\n",
    "from sentence_transformers import SentenceTransformer\n",
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "from nltk.corpus import stopwords\n",
    "from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory\n",
    "\n",
    "from bertopic import BERTopic\n",
    "from bertopic.representation import KeyBERTInspired\n",
    "from bertopic.vectorizers import ClassTfidfTransformer\n",
    "\n",
    "from repo.indobenchmark.toolkit.tokenization_indonlg import IndoNLGTokenizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "using cuda\n"
     ]
    }
   ],
   "source": [
    "# check if cuda or mps available, if available, use one of them, otherwise use cpu\n",
    "\n",
    "device = torch.device(\"cpu\")\n",
    "\n",
    "if torch.cuda.is_available():\n",
    "    device = torch.device(\"cuda\")\n",
    "    print(\"using cuda\")\n",
    "elif torch.backends.mps.is_available():\n",
    "    device = torch.device(\"mps\")\n",
    "    # os.environ[\"PYTORCH_MPS_HIGH_WATERMARK_RATIO\"] = \"1\" # This is tracked as pytorch issue #98222\n",
    "    print(\"using mps\")\n",
    "else:\n",
    "    device = torch.device(\"cpu\")\n",
    "    print(\"using cpu\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Specify the directory and file path\n",
    "\n",
    "base_dir = \"result/01-indobart-bertopic\"\n",
    "\n",
    "benc_dir = f\"{base_dir}/benc/\"\n",
    "\n",
    "# Create the benc_dir if it doesn't exist\n",
    "os.makedirs(benc_dir, exist_ok=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Load datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train dataset length:  14262\n",
      "Validation dataset length:  750\n",
      "Test dataset length:  3762\n",
      "\n",
      "{\n",
      "    \"document\": [\n",
      "        \"Jakarta, CNN Indonesia - - Dokter Ryan Thamrin, yang terkenal lewat acara Dokter Oz Indonesia, meninggal dunia pada Jumat (4 / 8) dini hari. Dokter Lula Kamal yang merupakan selebriti sekaligus rekan kerja Ryan menyebut kawannya itu sudah sakit sejak setahun yang lalu. Lula menuturkan, sakit itu membuat Ryan mesti vakum dari semua kegiatannya, termasuk menjadi pembawa acara Dokter Oz Indonesia. Kondisi itu membuat Ryan harus kembali ke kampung halamannya di Pekanbaru, Riau untuk menjalani istirahat. \\\" Setahu saya dia orangnya sehat, tapi tahun lalu saya dengar dia sakit. (Karena) sakitnya, ia langsung pulang ke Pekanbaru, jadi kami yang mau jenguk juga susah. Barangkali mau istirahat, ya betul juga, kalau di Jakarta susah isirahatnya, \\\" kata Lula kepada CNNIndonesia.com, Jumat (4 / 8). Lula yang mengenal Ryan sejak sebelum aktif berkarier di televisi mengaku belum sempat membesuk Ryan lantaran lokasi yang jauh. Dia juga tak tahu penyakit apa yang diderita Ryan. \\\" Itu saya enggak tahu, belum sempat jenguk dan enggak selamanya bisa dijenguk juga. Enggak tahu berat sekali apa bagaimana, \\\" tutur Ryan. Walau sudah setahun menderita sakit, Lula tak mengetahui apa penyebab pasti kematian Dr Oz Indonesia itu. Meski demikian, ia mendengar beberapa kabar yang menyebut bahwa penyebab Ryan meninggal adalah karena jatuh di kamar mandi. \\u201c Saya tidak tahu, barangkali penyakit yang dulu sama yang sekarang berbeda, atau penyebab kematiannya beda dari penyakit sebelumnya. Kita kan enggak bisa mengambil kesimpulan, \\\" kata Lula. Ryan Thamrin terkenal sebagai dokter yang rutin membagikan tips dan informasi kesehatan lewat tayangan Dokter Oz Indonesia. Ryan menempuh Pendidikan Dokter pada tahun 2002 di Fakultas Kedokteran Universitas Gadjah Mada. Dia kemudian melanjutkan pendidikan Klinis Kesehatan Reproduksi dan Penyakit Menular Seksual di Mahachulalongkornrajavidyalaya University, Bangkok, Thailand pada 2004.\",\n",
      "        \"Selfie ialah salah satu tema terpanas di kalangan produsen smartphone, bahkan menjadi senjata andalan beberapa brand terkenal. Anda mungkin berpikir bahwa saat ini, pasar handset spesialis selfie sudah sangat sesak. Tapi Asus masih melihat adanya peluang besar menanti di sana. Dari data mereka, sebanyak 71 persen orang Indonesia setidaknya mengambil selfie atau wefie setiap minggu. Setelah mulai menyelami ranah swafoto dua tahun silam lewat ZanFone Selfie, sang produsen hardware asal Taiwan itu akhirnya membawa sepasang pewarisnya ke tanah air. Handset - handset ini merupakan anggota keluarga ZenFone generasi keempat dan keduanya sama-sama dibekali setup kamera ganda di depan. Mereka adalah Asus ZenFone 4 Selfie Pro ZD552KL dan ZenFone 4 Selfie ZD553KL. CEO Asus Jerry Shen menjelaskan bahwa sudah waktunya bagi Asus untuk memberikan penawaran baru buat penggemar self - portrait demi menunjukkan keseriusan mereka di segmen itu. Walaupun \\u00a0 telah tersedia banyak pilihan, \\u00a0 Asus berpendapat bahwa konsumen di Indonesia membutuhkan solusi yang \\u2018 lebih profesional\\u2019. Dua ZenFone Selfie anyar ini kabarnya diracik sedemikian rupa sebagai jawaban atas kekurangan yang ada di perangkat - perangkat kompetitor, khususnya pada aspek jangkauan lensa dan performa di kondisi low-light. ZenFone 4 Selfie Pro \\u00a0 merupakan produk swafoto pamungkas Asus. Tubuh berbahan aluminiumnya dibuat melalui teknik nano molding dan tiap lekukannya dibentuk secara presisi. Dipadu layar berlapis Corning Gorilla Glass 5 2.5D, saya akui penampilan handset ini sangat menawan, terutama \\u00a0 untuk varian berwarna merahnya. Sebagai jendela akses konten, smartphone \\u00a0  menghidangkan layar AMOLED 1080p berkepadatan 401 ppi seluas 5,5 - inci. Atraksi utama dari ZenFone 4 Selfie Pro tentu saja adalah kamera depannya. Di sana, Asus mencantumkan sistem DuoPixel 24Mp, berisi kombinasi sepasang sensor Sony Exmor RS IMX362 1,4 \\u00b5m 12 - megapixel dengan aperture f/1.8, ditambah sensor Omnivision 5670 1,12 \\u00b5m f/2.2 yang memiliki lensa wide-angle 120 derajat, sehingga kamera bisa merangkul objek dua kali lebih banyak \\u2013 memungkinkan Anda ber-selfie bersama kawan ataupun keluarga tanpa bantuan monopod. Selain itu, Asus melengkapi ZenFone 4 Selfie Pro dengan bundel perkakas khusus swafoto bernama SelfieMaster. Tool ini berisi fitur-fitur krusial semisal beautify (buat foto maupun video), serta kolase dan BeautyLive. Produsen juga tak lupa menyiapkan flash LED softlight \\u00a0 untuk membantu pengambilan foto di kondisi temaram. Kamera belakangnya sendiri mengandalkan sensor Sony Exmor IMX351 1 \\u00b5m 16 - megapixel berlensa 26 mm f/2.2. Ia dibantu sistem electronic image stabilization, phase detection autofocus, serta LED dual - tone flash. Di dalam, Asus mempersenjatai ZD552KL dengan chip Qualcomm Snapdragon 625 (ada prosesor octa-core Cortex - A53 2 GHz dan GPU Adreno 506), RAM sebesar 4 GB, ROM 64 GB, dan baterai 3.000 mAh. Smartphone berjalan di sistem operasi Android 7.1.1 Nougat plus interface ZenUI 4.0. ZD553KL ialah alternatif lebih terjangkau dari saudarinya di atas. Handset mengusung arahan desain serupa ZenFone 4 Selfie Pro, namun konstruksi tubuhnya terbuat dari plastik, dan layar IPS 5,5 - incinya menyajikan resolusi 720p. Tapi jangan cemas soal penampilannya, smartphone tetap memanfaatkan kaca 2.5D sehingga memberi kesan menyambung pada lekukan di sisi samping. Kapabilitas swafoto ZenFone 4 Selfie bersandar pada sensor Omnivision 20880 1 \\u00b5m 20 - megapixel f/2.0 dan sensor Omnivision 8856 1,12 \\u00b5m f/2.4 dengan lensa wide-angle 120 derajat. Sudut jangkauan jepretan dan sejumlah kelengkapannya tak berbeda dari Selfie 4 Pro. Anda kembali dihindangkan SelfieMaster, flash LED softlight, mode panorama, serta HDR. Ukuran megapixel kamera belakangnya setara ZenFone 4 Selfie Pro, namun jenis sensornya berbeda. Smartphone tersebut menggunakan Omnivision 16880 1 \\u00b5m 16Mp dengan aperture lensa f/2.2. Meski demikian, fitur-fitur penunjang fotografi seperti PDAF, EIS, dan flash LED juga tetap ada di sana. ZenFone 4 Selfie diotaki system-on-chip Qualcomm Snapdragon 430, berisi CPU octa-core Cortex - A53 1,4 GHz dan GPU Adreno 505. Handset menyimpan RAM 4 GB, memori internal 64 GB, lalu tenaganya dipasok oleh baterai 3.000 mAh non - removable di dalam. Satu keunikan yang membuat ZD553KL lebih \\u2018 unggul\\u2019 dari ZenFone 4 Selfie Pro adalah dukungan tiga slot kartu: dua untuk SIM, dan satu lagi buat microSD (storage dapat diekspansi \\u00a0 sampai \\u00a0 2 TB). Smartphone juga beroperasi di platform Android 7.1.1 Nougat dengan ZenUI 4.0. ZenFone 4 Selfie Pro ZD552KL dibanderol seharga Rp 5 juta, sedangkan ZenFone 4 Selfie ZD553KL dipatok di harga Rp 3,5 juta. Kedua perangkat sudah mulai dipasarkan mulai tanggal 25 November, dan sampai \\u00a0 tanggal 10 November nanti, paket penjualan turut dibundel bersama \\u2018 Gong Yoo Special Gift Box\\u2019 serta speaker Bluetooth khusus ZenFone 4 Selfie Pro \\u2013 selama persediaan masih ada. DailySocial.id adalah portal berita startup dan inovasi teknologi. Kamu bisa menjadi member komunitas startup dan inovasi DailySocial.id, mengunduh laporan riset dan statistik seputar teknologi secara cuma-cuma, dan mengikuti berita startup Indonesia dan gadget terbaru.\",\n",
      "        \"Jakarta, CNN Indonesia - - Dinas Pariwisata Provinsi Bengkulu kembali menggelar kegiatan Bimbingan Teknis (Bimtek) SDM Kepariwisataan dalam menyongson \\\" Visit 2020 Wonderful Bengkulu \\\". Kegiatan yang berlangsung pada 8 hingga 10 November kemarin tersebut sebagai bagian dari upaya Pemerintah Provinsi Bengkulu dalam Hadir sebagai pemateri kegiatan pada 8 - 10 November itu adalah Plt. Asdep Strategi Pemasaran Pariwisata Nusantara, Deputi Bidang Pengembangan Pemasaran Pariwisata Nusantara Hariyanto serta perwakilan dari Deputi Bidang Pengembangan Kelembagaan Kementerian Pariwisata, Faizal. Kepala Dinas Pariwisata Provinsi Bengkulu Yudi Satria mengatakan, kegiatan Bimtek diikuti 250 peserta yang terdiri dari aparatur Pemerintah Provinsi, ASN Kabupaten / Kota, Kelompok Sadar Wisata serta pihak terkait sektor pariwisata di Bengkulu. \\\" Kegiatan ini dimaksudkan untuk memberikan pembekalan kepada peserta di bidang kepariwisataan, \\\" ujar Yudi Satria. Ia mengatakan, Pemprov telah menetapkan pariwisata sebagai salah satu sektor yang akan dikembangkan dan akan menjadi sektor unggulan dalam meningkatkan pertumbuhan ekonomi daerah serta masyarakat. Hal itu, jelas Yudi, tidak lepas dari potensi pariwisata di Bengkulu yang besar memiliki kekayaan alam yang indah serta budaya yang tinggi. \\\" Karena itu pula Pemprov telah menetapkan program' Visit 2020 Wonderful Bengkulu \\\" yang akan menjadi tujuan besar pariwisata Bengkulu. Salah satu poin utamanya adalah upaya menghasilkan SDM pariwisata yang andal yang akan diwujudkan melalui Bimtek ini, \\\" ujar Yudi. Selain itu, dalam menunjang proses' Visit 2020 Wonderful Bengkulu', Pemprov juga telah menyiapkan 52 acara yang akan digelar dalam satu tahun ke depan yang bertujuan mengangkat potensi lokal ke kelas dunia. \\\" Salah satu yang dirancang secara besar adalah Sail Bengkulu yang akan menjual keindahan alam laut Bengkulu yang berhadapan langsung dengan Samudera Hindia, \\\" kata dia. Ajang lainnya tentunya Festival Tabot Muharam yang selalu menyedot minat ribuan wisatawan setiap tahun serta Festival Bumi Rafflesia. \\\" Semua kegiatan ini harus disinkronkan, penguatan SDM dan bagaimana promosi pemasarannya agar semua acara ini layak jual untuk wisatawan, \\\" ujarnya. Sementara Hariyanto dalam kesempatan itu menyampaikan materi tentang pengembangan SDM sektor pariwisata dan pengemasan serta pemasaran satu acara. Dalam paparanya ia menjelaskan, bahwa Bimtek penting untuk meningkatkan kompetensi SDM kepariwisataan sehingga mampu berperan dalam peningkatan pembangunan kepariwisataan. Selain itu ia menegaskan bahwa dalam pengembangan pariwisata, promosi juga hal yang harus diperhatikan. Misalnya penekanan pada mekanisme promosi pariwisata secara digital atau daring, penyelenggaraan acara juga harus terkurasi dengan baik sehingga memiliki daya tarik yang kuat. \\\" Bagaimana juga meningkatkan efektivitas partisipasi Dinas Pariwisata pada penyelenggaraan acara dan bagaimana cara memasarkan dan mempromosikan agar bisa dikenal dan menjadi daya tarik wisatawan, \\u201d terang Hariyanto. Deputi Pengembangan Pemasaran Pariwisata Nusantara, Esthy Reko Astuti mengatakan, Bimtek kali ini juga bertujuan memberi perspektif dan arah yang sama tentang program promosi Pariwisata di Bengkulu. \\\" Selain itu juga untuk memahami potensi destinasi - destinasi wisata di Bengkulu, \\\" ujar Esthy. Menteri Pariwisata Arief Yahya mengapresiasi kegiatan Bimtek sebagai salah satu upaya dan komitmen dari Pemerintah Provinsi Bengkulu dalam mewujudkan pariwisata sebagai salah satu sektor utama. Ia pun berkomitmen akan mendung Penprov dalam mewujudkan \\\" Visit 2020 Wonderful Bengkulu \\\". \\\" Obyek wisata andalan Bengkulu, Benteng Marlborough, Rumah Bung Karno, Pantai Panjang yang memiliki pasir putih yang indah dan bersih. Semuanya world class, ditambah dengan puluhan atraksi didalamnya, tinggal kita akan dukung dan promosikan' Bengkulu Visit' sehingga lebih mendunia, \\\" kata Arief (syahb)\",\n",
      "        \"Merdeka.com - Indonesia Corruption Watch (ICW) meminta Komisi Pemberantas   Korupsi (KPK) ikut memantau perkembangan atas meninggalnya saksi kunci kasus mega korupsi e - KTP, Johannes Marliem. Peneliti ICW Divisi Hukum dan Monitoring Peradila, Aradila Caesar mengatakan momentum meninggalnya saksi kunci tersebut menimbulkan kejanggalan dan tanda tanya besar. \\\" Orang meninggal kita kan tidak bisa prediksi itu bukan kuasa kita. Tapi kalau kita melihat momentum kan ada suatu kejanggalan. Kenapa momentum meninggalnya, saat kasus e - ktp sedang ditangani oleh KPK, \\\" katanya seusai konferensi pers di Kantor Sekeretariatan ICW,   Jakarta, Minggu(13 / 8). Pihak ICW meminta KPK turut menyelidiki kematian saksi kunci ini dan menjelaskan kepada masyarakat apakah ada keterkaitan dengan permasalahan korupsi e - KTP atau hal-hal lain dibalik kematian Johannes. \\\" Kita minta KPK dan juga bekerja sama dengan pihak otoritas untuk menyelidiki kematian dari saksi kunci tersebut dengan serius. Artinya nanti KPK harus bisa menjelaskan kepada publik kenapa kematiannya, \\\" pintanya. ICW berharap dengan kematian saksi kunci, tidak membuat efek negatif untuk permasalahan kasus e - KTP ini. \\\" Jangan sampai kematiannya berdampak negatif dalam konteks membongkar kasus e - ktp tersebut, \\\" pungkasnya. [ded]\",\n",
      "        \"Merdeka.com - Presiden Joko Widodo (Jokowi) memimpin upacara penurunan bendera di Halaman Istana Merdeka,   Jakarta. Usai prosesi penurunan bendera dilakukan, Jokowi kembali bagi-bagi sepeda kepada tamu undangan yang mengenakan pakaian adat terbaik. Berbeda dengan saat upacara pengibaran bendera, bagi-bagi sepeda kali ini diumumkan oleh Wakil Presiden Jusuf Kalla (JK). Hal berbeda juga terjadi bagi mereka yang menerima. Apabila sepeda diberikan ke pejabat negara mau pun keluarga, kali ini sepeda diberikan kepada masyarakat biasa. \\\" Seperti tadi pagi, sore ini juga panitia membentuk tim penilai untuk menilai siapa yang berbusana tradisional adat - adat daerah yang paling baik sore ini, \\\" kata JK. Kelima penerima sepeda di antaranya, Frans Maksim yang merupakan Kepala Suku Arfak, Papua, Ratna Dewi Budiono yang mengenakan pakaian adat Dayak, Yusak Rumambi yang mengenakan pakaian adat Sulawesi Utara, Teuku Johan Marzuki yang mengenakan pakaian adat Aceh. Terakhir, ada Sumahartarti yang mengenakan pakaian adat asal Bengkulu. \\\" Silakan semua datang ke panggung. Mendapat sepeda dari Bapak Presiden bisa langsung dipakai keliling - keliling nanti, \\\" ujarnya. Pada Upacara Pengibaran Bendera, lima orang menggunakan pakaian adat terbaik, yakni Menteri Hukum dan Hak Asasi Manusia (Menkum HAM) Yasonna Hamonangan Laoly dengan pakaian adat Nias, Ketua DPD RI Oesman Sapta Odang yang menggunakan pakaian adat Minang, dan Asisten Ajudan Presiden Syarif Muhammad Fidriansyah dengan pakaian adat Dayak, Kalimantan Barat. Dua orang lainnya adalah istri Kapolri Jenderal Pol Tito Karnavian, Tri Suswati yang mengenakan pakaian adat Papua, dan istri Wakil Ketua MPR Mahyudin, Agati Suli menggunakan baju adat Dayak. [bal]\"\n",
      "    ],\n",
      "    \"id\": [\n",
      "        \"1501893029-lula-kamal-dokter-ryan-thamrin-sakit-sejak-setahun\",\n",
      "        \"1509072914-dua-smartphone-zenfone-baru-tawarkan-solusi-bersel\",\n",
      "        \"1510613677-songsong-visit-2020-bengkulu-perkuat-sdm-pariwisat\",\n",
      "        \"1502706803-icw-ada-kejanggalan-atas-tewasnya-saksi-kunci-e-kt\",\n",
      "        \"1503039338-pembagian-sepeda-usai-upacara-penurunan-bendera\"\n",
      "    ],\n",
      "    \"summary\": [\n",
      "        \"Dokter Lula Kamal yang merupakan selebriti sekaligus rekan kerja Ryan Thamrin menyebut kawannya itu sudah sakit sejak setahun yang lalu. Lula menuturkan, sakit itu membuat Ryan mesti vakum dari semua kegiatannya, termasuk menjadi pembawa acara Dokter Oz Indonesia. Kondisi itu membuat Ryan harus kembali ke kampung halamannya di Pekanbaru, Riau untuk menjalani istirahat.\",\n",
      "        \"Asus memperkenalkan \\u00a0 ZenFone generasi keempat dan keduanya sama-sama dibekali setup kamera ganda di depan. Mereka adalah Asus ZenFone 4 Selfie Pro ZD552KL dan ZenFone 4 Selfie ZD553KL. Dua ZenFone Selfie anyar ini kabarnya diracik sedemikian rupa sebagai jawaban atas kekurangan yang ada di perangkat - perangkat kompetitor, khususnya pada aspek jangkauan lensa dan performa di kondisi low-light.\",\n",
      "        \"Dinas Pariwisata Provinsi Bengkulu kembali menggelar kegiatan Bimbingan Teknis (Bimtek) SDM Kepariwisataan dalam menyongson \\\" Visit 2020 Wonderful Bengkulu \\\" pada 8 - 10 November 2017 yang lalu. Kegiatan yang berlangsung pada 8 hingga 10 November kemarin tersebut sebagai bagian dari upaya Pemerintah Provinsi Bengkulu dalam memperkuat SDM Pariwisata untuk menyongsong \\\" Visit 2020 Wonderful Bengkulu \\\".\",\n",
      "        \"Indonesia Corruption Watch (ICW) meminta Komisi Pemberantas Korupsi \\u00a0 (KPK) ikut memantau perkembangan atas meninggalnya saksi kunci kasus mega \\u00a0 korupsi \\u00a0 e - KTP, Johannes Marliem dan menjelaskan kepada masyarakat apakah ada keterkaitan dengan permasalahan korupsi e - KTP atau hal-hal lain dibalik kematian Johannes. Peneliti ICW Divisi Hukum dan Monitoring Peradila, Aradila Caesar mengatakan momentum meninggalnya saksi kunci tersebut menimbulkan kejanggalan dan tanda tanya besar.\",\n",
      "        \"Jokowi memimpin upacara penurunan bendera. Usai prosesi tersebut, Jokowi bagi-bagi sepeda kepada tamu undangan yang mengenakan pakaian adat terbaik. Berbeda dengan saat upacara pengibaran bendera, bagi-bagi sepeda kali ini diumumkan oleh Wakil Presiden Jusuf Kalla (JK). Hal berbeda juga terjadi bagi mereka yang menerima. Apabila sepeda diberikan ke pejabat negara mau pun keluarga, kali ini sepeda diberikan kepada masyarakat biasa.\"\n",
      "    ]\n",
      "}\n",
      "\n"
     ]
    }
   ],
   "source": [
    "ds = load_dataset(\"./repo/SEACrowd/indosum/indosum.py\")\n",
    "\n",
    "# check the length of the dataset\n",
    "print(\"Train dataset length: \", len(ds[\"train\"]))\n",
    "print(\"Validation dataset length: \", len(ds[\"validation\"]))\n",
    "print(\"Test dataset length: \", len(ds[\"test\"]))\n",
    "print(\"\")\n",
    "\n",
    "# explore the first 5 data in the dataset\n",
    "print(json.dumps(ds[\"train\"][:5], indent=4))\n",
    "print(\"\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "nltk.download(\"all\", quiet=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Topic Modelling"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "embedding_model = SentenceTransformer(\"LazarusNLP/all-indobert-base-v4\")\n",
    "\n",
    "stop_words = (\n",
    "    stopwords.words(\"english\")\n",
    "    + stopwords.words(\"indonesian\")\n",
    "    + StopWordRemoverFactory().get_stop_words()\n",
    ")\n",
    "vectorizer_model = CountVectorizer(stop_words=stop_words, token_pattern=\"[^\\W\\d_]+\")\n",
    "\n",
    "topic_model = BERTopic(\n",
    "    # language=\"multilingual\",\n",
    "    embedding_model=embedding_model,\n",
    "    vectorizer_model=vectorizer_model,\n",
    "    nr_topics=10,\n",
    "    verbose=True,\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2024-11-05 04:49:08,623 - BERTopic - Embedding - Transforming documents to embeddings.\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "01dcb7db5e174ad59abc9e64d0a12607",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/446 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2024-11-05 04:49:53,302 - BERTopic - Embedding - Completed ✓\n",
      "2024-11-05 04:49:53,303 - BERTopic - Dimensionality - Fitting the dimensionality reduction algorithm\n",
      "2024-11-05 04:50:19,009 - BERTopic - Dimensionality - Completed ✓\n",
      "2024-11-05 04:50:19,012 - BERTopic - Cluster - Start clustering the reduced embeddings\n",
      "2024-11-05 04:50:19,447 - BERTopic - Cluster - Completed ✓\n",
      "2024-11-05 04:50:19,448 - BERTopic - Representation - Extracting topics from clusters using representation models.\n",
      "2024-11-05 04:50:22,677 - BERTopic - Representation - Completed ✓\n",
      "2024-11-05 04:50:22,682 - BERTopic - Topic reduction - Reducing number of topics\n",
      "2024-11-05 04:50:25,986 - BERTopic - Topic reduction - Reduced number of topics from 159 to 10\n"
     ]
    }
   ],
   "source": [
    "topics, probs = topic_model.fit_transform(ds[\"train\"][\"document\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Topic</th>\n",
       "      <th>Count</th>\n",
       "      <th>Name</th>\n",
       "      <th>Representation</th>\n",
       "      <th>Representative_Docs</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>-1</td>\n",
       "      <td>4614</td>\n",
       "      <td>-1_indonesia_jakarta_orang_negara</td>\n",
       "      <td>[indonesia, jakarta, orang, negara, anak, sala...</td>\n",
       "      <td>[Hari ini Bekraf dan Kamar Dagang dan Industri...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>3190</td>\n",
       "      <td>0_pemain_gol_laga_menit</td>\n",
       "      <td>[pemain, gol, laga, menit, musim, tim, liga, p...</td>\n",
       "      <td>[Gelaran Piala Eropa U - 21 2017 telah menyele...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1</td>\n",
       "      <td>2525</td>\n",
       "      <td>1_jakarta_kpk_indonesia_rp</td>\n",
       "      <td>[jakarta, kpk, indonesia, rp, ketua, jalan, pa...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Komisi Pemberantas...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2</td>\n",
       "      <td>1406</td>\n",
       "      <td>2_film_startup_teknologi_id</td>\n",
       "      <td>[film, startup, teknologi, id, dailysocial, in...</td>\n",
       "      <td>[Sudah menjadi rahasia umum apabila sistem ope...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>3</td>\n",
       "      <td>1031</td>\n",
       "      <td>3_indonesia_makanan_tubuh_orang</td>\n",
       "      <td>[indonesia, makanan, tubuh, orang, memiliki, m...</td>\n",
       "      <td>[Rimanews - Kedutaan Besar RI di Wellington me...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>4</td>\n",
       "      <td>716</td>\n",
       "      <td>4_lagu_album_konser_musik</td>\n",
       "      <td>[lagu, album, konser, musik, jakarta, anak, or...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Boyband populer as...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>5</td>\n",
       "      <td>561</td>\n",
       "      <td>5_trump_presiden_negara_israel</td>\n",
       "      <td>[trump, presiden, negara, israel, amerika, ora...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Menteri Luar Neger...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>6</td>\n",
       "      <td>147</td>\n",
       "      <td>6_mobil_motor_unit_kendaraan</td>\n",
       "      <td>[mobil, motor, unit, kendaraan, listrik, toyot...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - PT Toyota Astra Mo...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>7</td>\n",
       "      <td>60</td>\n",
       "      <td>7_pendidikan_sekolah_guru_ipb</td>\n",
       "      <td>[pendidikan, sekolah, guru, ipb, rektor, mahas...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Pimpinan Pusat Muh...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>8</td>\n",
       "      <td>12</td>\n",
       "      <td>8_minyak_barel_mentah_opec</td>\n",
       "      <td>[minyak, barel, mentah, opec, harga, produksi,...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Harga minyak menta...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Topic  Count                               Name  \\\n",
       "0     -1   4614  -1_indonesia_jakarta_orang_negara   \n",
       "1      0   3190            0_pemain_gol_laga_menit   \n",
       "2      1   2525         1_jakarta_kpk_indonesia_rp   \n",
       "3      2   1406        2_film_startup_teknologi_id   \n",
       "4      3   1031    3_indonesia_makanan_tubuh_orang   \n",
       "5      4    716          4_lagu_album_konser_musik   \n",
       "6      5    561     5_trump_presiden_negara_israel   \n",
       "7      6    147       6_mobil_motor_unit_kendaraan   \n",
       "8      7     60      7_pendidikan_sekolah_guru_ipb   \n",
       "9      8     12         8_minyak_barel_mentah_opec   \n",
       "\n",
       "                                      Representation  \\\n",
       "0  [indonesia, jakarta, orang, negara, anak, sala...   \n",
       "1  [pemain, gol, laga, menit, musim, tim, liga, p...   \n",
       "2  [jakarta, kpk, indonesia, rp, ketua, jalan, pa...   \n",
       "3  [film, startup, teknologi, id, dailysocial, in...   \n",
       "4  [indonesia, makanan, tubuh, orang, memiliki, m...   \n",
       "5  [lagu, album, konser, musik, jakarta, anak, or...   \n",
       "6  [trump, presiden, negara, israel, amerika, ora...   \n",
       "7  [mobil, motor, unit, kendaraan, listrik, toyot...   \n",
       "8  [pendidikan, sekolah, guru, ipb, rektor, mahas...   \n",
       "9  [minyak, barel, mentah, opec, harga, produksi,...   \n",
       "\n",
       "                                 Representative_Docs  \n",
       "0  [Hari ini Bekraf dan Kamar Dagang dan Industri...  \n",
       "1  [Gelaran Piala Eropa U - 21 2017 telah menyele...  \n",
       "2  [Jakarta, CNN Indonesia - - Komisi Pemberantas...  \n",
       "3  [Sudah menjadi rahasia umum apabila sistem ope...  \n",
       "4  [Rimanews - Kedutaan Besar RI di Wellington me...  \n",
       "5  [Jakarta, CNN Indonesia - - Boyband populer as...  \n",
       "6  [Jakarta, CNN Indonesia - - Menteri Luar Neger...  \n",
       "7  [Jakarta, CNN Indonesia - - PT Toyota Astra Mo...  \n",
       "8  [Jakarta, CNN Indonesia - - Pimpinan Pusat Muh...  \n",
       "9  [Jakarta, CNN Indonesia - - Harga minyak menta...  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "topic_info = topic_model.get_topic_info()\n",
    "\n",
    "# save to excel\n",
    "topic_info.to_csv(benc_dir + \"topic_info.csv\")\n",
    "\n",
    "topic_info"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>document</th>\n",
       "      <th>id</th>\n",
       "      <th>summary</th>\n",
       "      <th>Document</th>\n",
       "      <th>Topic</th>\n",
       "      <th>Name</th>\n",
       "      <th>Representation</th>\n",
       "      <th>Representative_Docs</th>\n",
       "      <th>Top_n_words</th>\n",
       "      <th>Probability</th>\n",
       "      <th>Representative_document</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Jakarta, CNN Indonesia - - Dokter Ryan Thamrin...</td>\n",
       "      <td>1501893029-lula-kamal-dokter-ryan-thamrin-saki...</td>\n",
       "      <td>Dokter Lula Kamal yang merupakan selebriti sek...</td>\n",
       "      <td>Jakarta, CNN Indonesia - - Dokter Ryan Thamrin...</td>\n",
       "      <td>-1</td>\n",
       "      <td>-1_indonesia_jakarta_orang_negara</td>\n",
       "      <td>[indonesia, jakarta, orang, negara, anak, sala...</td>\n",
       "      <td>[Hari ini Bekraf dan Kamar Dagang dan Industri...</td>\n",
       "      <td>indonesia - jakarta - orang - negara - anak - ...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Selfie ialah salah satu tema terpanas di kalan...</td>\n",
       "      <td>1509072914-dua-smartphone-zenfone-baru-tawarka...</td>\n",
       "      <td>Asus memperkenalkan   ZenFone generasi keempat...</td>\n",
       "      <td>Selfie ialah salah satu tema terpanas di kalan...</td>\n",
       "      <td>-1</td>\n",
       "      <td>-1_indonesia_jakarta_orang_negara</td>\n",
       "      <td>[indonesia, jakarta, orang, negara, anak, sala...</td>\n",
       "      <td>[Hari ini Bekraf dan Kamar Dagang dan Industri...</td>\n",
       "      <td>indonesia - jakarta - orang - negara - anak - ...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Jakarta, CNN Indonesia - - Dinas Pariwisata Pr...</td>\n",
       "      <td>1510613677-songsong-visit-2020-bengkulu-perkua...</td>\n",
       "      <td>Dinas Pariwisata Provinsi Bengkulu kembali men...</td>\n",
       "      <td>Jakarta, CNN Indonesia - - Dinas Pariwisata Pr...</td>\n",
       "      <td>3</td>\n",
       "      <td>3_indonesia_makanan_tubuh_orang</td>\n",
       "      <td>[indonesia, makanan, tubuh, orang, memiliki, m...</td>\n",
       "      <td>[Rimanews - Kedutaan Besar RI di Wellington me...</td>\n",
       "      <td>indonesia - makanan - tubuh - orang - memiliki...</td>\n",
       "      <td>1.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Merdeka.com - Indonesia Corruption Watch (ICW)...</td>\n",
       "      <td>1502706803-icw-ada-kejanggalan-atas-tewasnya-s...</td>\n",
       "      <td>Indonesia Corruption Watch (ICW) meminta Komis...</td>\n",
       "      <td>Merdeka.com - Indonesia Corruption Watch (ICW)...</td>\n",
       "      <td>-1</td>\n",
       "      <td>-1_indonesia_jakarta_orang_negara</td>\n",
       "      <td>[indonesia, jakarta, orang, negara, anak, sala...</td>\n",
       "      <td>[Hari ini Bekraf dan Kamar Dagang dan Industri...</td>\n",
       "      <td>indonesia - jakarta - orang - negara - anak - ...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Merdeka.com - Presiden Joko Widodo (Jokowi) me...</td>\n",
       "      <td>1503039338-pembagian-sepeda-usai-upacara-penur...</td>\n",
       "      <td>Jokowi memimpin upacara penurunan bendera. Usa...</td>\n",
       "      <td>Merdeka.com - Presiden Joko Widodo (Jokowi) me...</td>\n",
       "      <td>1</td>\n",
       "      <td>1_jakarta_kpk_indonesia_rp</td>\n",
       "      <td>[jakarta, kpk, indonesia, rp, ketua, jalan, pa...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Komisi Pemberantas...</td>\n",
       "      <td>jakarta - kpk - indonesia - rp - ketua - jalan...</td>\n",
       "      <td>1.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14257</th>\n",
       "      <td>Jakarta, CNN Indonesia - - Amerika Serikat dil...</td>\n",
       "      <td>1497645345-as-kirimkan-peluncur-rudal-ke-suria...</td>\n",
       "      <td>Amerika Serikat dilaporkan telah mengirimkan s...</td>\n",
       "      <td>Jakarta, CNN Indonesia - - Amerika Serikat dil...</td>\n",
       "      <td>5</td>\n",
       "      <td>5_trump_presiden_negara_israel</td>\n",
       "      <td>[trump, presiden, negara, israel, amerika, ora...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Menteri Luar Neger...</td>\n",
       "      <td>trump - presiden - negara - israel - amerika -...</td>\n",
       "      <td>0.587749</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14258</th>\n",
       "      <td>Bandung, CNN Indonesia - - Borneo FC berhasil ...</td>\n",
       "      <td>1495406700-borneo-bersyukur-tahan-persib-di-gbla</td>\n",
       "      <td>Borneo FC menahan imbang Persib Bandung pada l...</td>\n",
       "      <td>Bandung, CNN Indonesia - - Borneo FC berhasil ...</td>\n",
       "      <td>0</td>\n",
       "      <td>0_pemain_gol_laga_menit</td>\n",
       "      <td>[pemain, gol, laga, menit, musim, tim, liga, p...</td>\n",
       "      <td>[Gelaran Piala Eropa U - 21 2017 telah menyele...</td>\n",
       "      <td>pemain - gol - laga - menit - musim - tim - li...</td>\n",
       "      <td>0.863007</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14259</th>\n",
       "      <td>JAKARTA (Pos Kota) – Komisi Pemberantasan Koru...</td>\n",
       "      <td>1513941815-mantan-dirjen-perhubungan-laut-sege...</td>\n",
       "      <td>Komisi Pemberantasan Korupsi (KPK) sudah melim...</td>\n",
       "      <td>JAKARTA (Pos Kota) – Komisi Pemberantasan Koru...</td>\n",
       "      <td>1</td>\n",
       "      <td>1_jakarta_kpk_indonesia_rp</td>\n",
       "      <td>[jakarta, kpk, indonesia, rp, ketua, jalan, pa...</td>\n",
       "      <td>[Jakarta, CNN Indonesia - - Komisi Pemberantas...</td>\n",
       "      <td>jakarta - kpk - indonesia - rp - ketua - jalan...</td>\n",
       "      <td>1.000000</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14260</th>\n",
       "      <td>Merdeka.com - Sebuah kabar gembira datang bagi...</td>\n",
       "      <td>1496440800-rangking-fifa-indonesia-naik-dua-pe...</td>\n",
       "      <td>Kabar gembira datang bagi   sepakbola   Indone...</td>\n",
       "      <td>Merdeka.com - Sebuah kabar gembira datang bagi...</td>\n",
       "      <td>0</td>\n",
       "      <td>0_pemain_gol_laga_menit</td>\n",
       "      <td>[pemain, gol, laga, menit, musim, tim, liga, p...</td>\n",
       "      <td>[Gelaran Piala Eropa U - 21 2017 telah menyele...</td>\n",
       "      <td>pemain - gol - laga - menit - musim - tim - li...</td>\n",
       "      <td>0.484409</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14261</th>\n",
       "      <td>Ada satu perangkat menarik lainnya yang tersaj...</td>\n",
       "      <td>1505421900-apple-tv-4k-usung-resolusi-super-be...</td>\n",
       "      <td>Ada satu perangkat menarik lainnya yang tersaj...</td>\n",
       "      <td>Ada satu perangkat menarik lainnya yang tersaj...</td>\n",
       "      <td>2</td>\n",
       "      <td>2_film_startup_teknologi_id</td>\n",
       "      <td>[film, startup, teknologi, id, dailysocial, in...</td>\n",
       "      <td>[Sudah menjadi rahasia umum apabila sistem ope...</td>\n",
       "      <td>film - startup - teknologi - id - dailysocial ...</td>\n",
       "      <td>0.596784</td>\n",
       "      <td>False</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>14262 rows × 11 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                document  \\\n",
       "0      Jakarta, CNN Indonesia - - Dokter Ryan Thamrin...   \n",
       "1      Selfie ialah salah satu tema terpanas di kalan...   \n",
       "2      Jakarta, CNN Indonesia - - Dinas Pariwisata Pr...   \n",
       "3      Merdeka.com - Indonesia Corruption Watch (ICW)...   \n",
       "4      Merdeka.com - Presiden Joko Widodo (Jokowi) me...   \n",
       "...                                                  ...   \n",
       "14257  Jakarta, CNN Indonesia - - Amerika Serikat dil...   \n",
       "14258  Bandung, CNN Indonesia - - Borneo FC berhasil ...   \n",
       "14259  JAKARTA (Pos Kota) – Komisi Pemberantasan Koru...   \n",
       "14260  Merdeka.com - Sebuah kabar gembira datang bagi...   \n",
       "14261  Ada satu perangkat menarik lainnya yang tersaj...   \n",
       "\n",
       "                                                      id  \\\n",
       "0      1501893029-lula-kamal-dokter-ryan-thamrin-saki...   \n",
       "1      1509072914-dua-smartphone-zenfone-baru-tawarka...   \n",
       "2      1510613677-songsong-visit-2020-bengkulu-perkua...   \n",
       "3      1502706803-icw-ada-kejanggalan-atas-tewasnya-s...   \n",
       "4      1503039338-pembagian-sepeda-usai-upacara-penur...   \n",
       "...                                                  ...   \n",
       "14257  1497645345-as-kirimkan-peluncur-rudal-ke-suria...   \n",
       "14258   1495406700-borneo-bersyukur-tahan-persib-di-gbla   \n",
       "14259  1513941815-mantan-dirjen-perhubungan-laut-sege...   \n",
       "14260  1496440800-rangking-fifa-indonesia-naik-dua-pe...   \n",
       "14261  1505421900-apple-tv-4k-usung-resolusi-super-be...   \n",
       "\n",
       "                                                 summary  \\\n",
       "0      Dokter Lula Kamal yang merupakan selebriti sek...   \n",
       "1      Asus memperkenalkan   ZenFone generasi keempat...   \n",
       "2      Dinas Pariwisata Provinsi Bengkulu kembali men...   \n",
       "3      Indonesia Corruption Watch (ICW) meminta Komis...   \n",
       "4      Jokowi memimpin upacara penurunan bendera. Usa...   \n",
       "...                                                  ...   \n",
       "14257  Amerika Serikat dilaporkan telah mengirimkan s...   \n",
       "14258  Borneo FC menahan imbang Persib Bandung pada l...   \n",
       "14259  Komisi Pemberantasan Korupsi (KPK) sudah melim...   \n",
       "14260  Kabar gembira datang bagi   sepakbola   Indone...   \n",
       "14261  Ada satu perangkat menarik lainnya yang tersaj...   \n",
       "\n",
       "                                                Document  Topic  \\\n",
       "0      Jakarta, CNN Indonesia - - Dokter Ryan Thamrin...     -1   \n",
       "1      Selfie ialah salah satu tema terpanas di kalan...     -1   \n",
       "2      Jakarta, CNN Indonesia - - Dinas Pariwisata Pr...      3   \n",
       "3      Merdeka.com - Indonesia Corruption Watch (ICW)...     -1   \n",
       "4      Merdeka.com - Presiden Joko Widodo (Jokowi) me...      1   \n",
       "...                                                  ...    ...   \n",
       "14257  Jakarta, CNN Indonesia - - Amerika Serikat dil...      5   \n",
       "14258  Bandung, CNN Indonesia - - Borneo FC berhasil ...      0   \n",
       "14259  JAKARTA (Pos Kota) – Komisi Pemberantasan Koru...      1   \n",
       "14260  Merdeka.com - Sebuah kabar gembira datang bagi...      0   \n",
       "14261  Ada satu perangkat menarik lainnya yang tersaj...      2   \n",
       "\n",
       "                                    Name  \\\n",
       "0      -1_indonesia_jakarta_orang_negara   \n",
       "1      -1_indonesia_jakarta_orang_negara   \n",
       "2        3_indonesia_makanan_tubuh_orang   \n",
       "3      -1_indonesia_jakarta_orang_negara   \n",
       "4             1_jakarta_kpk_indonesia_rp   \n",
       "...                                  ...   \n",
       "14257     5_trump_presiden_negara_israel   \n",
       "14258            0_pemain_gol_laga_menit   \n",
       "14259         1_jakarta_kpk_indonesia_rp   \n",
       "14260            0_pemain_gol_laga_menit   \n",
       "14261        2_film_startup_teknologi_id   \n",
       "\n",
       "                                          Representation  \\\n",
       "0      [indonesia, jakarta, orang, negara, anak, sala...   \n",
       "1      [indonesia, jakarta, orang, negara, anak, sala...   \n",
       "2      [indonesia, makanan, tubuh, orang, memiliki, m...   \n",
       "3      [indonesia, jakarta, orang, negara, anak, sala...   \n",
       "4      [jakarta, kpk, indonesia, rp, ketua, jalan, pa...   \n",
       "...                                                  ...   \n",
       "14257  [trump, presiden, negara, israel, amerika, ora...   \n",
       "14258  [pemain, gol, laga, menit, musim, tim, liga, p...   \n",
       "14259  [jakarta, kpk, indonesia, rp, ketua, jalan, pa...   \n",
       "14260  [pemain, gol, laga, menit, musim, tim, liga, p...   \n",
       "14261  [film, startup, teknologi, id, dailysocial, in...   \n",
       "\n",
       "                                     Representative_Docs  \\\n",
       "0      [Hari ini Bekraf dan Kamar Dagang dan Industri...   \n",
       "1      [Hari ini Bekraf dan Kamar Dagang dan Industri...   \n",
       "2      [Rimanews - Kedutaan Besar RI di Wellington me...   \n",
       "3      [Hari ini Bekraf dan Kamar Dagang dan Industri...   \n",
       "4      [Jakarta, CNN Indonesia - - Komisi Pemberantas...   \n",
       "...                                                  ...   \n",
       "14257  [Jakarta, CNN Indonesia - - Menteri Luar Neger...   \n",
       "14258  [Gelaran Piala Eropa U - 21 2017 telah menyele...   \n",
       "14259  [Jakarta, CNN Indonesia - - Komisi Pemberantas...   \n",
       "14260  [Gelaran Piala Eropa U - 21 2017 telah menyele...   \n",
       "14261  [Sudah menjadi rahasia umum apabila sistem ope...   \n",
       "\n",
       "                                             Top_n_words  Probability  \\\n",
       "0      indonesia - jakarta - orang - negara - anak - ...     0.000000   \n",
       "1      indonesia - jakarta - orang - negara - anak - ...     0.000000   \n",
       "2      indonesia - makanan - tubuh - orang - memiliki...     1.000000   \n",
       "3      indonesia - jakarta - orang - negara - anak - ...     0.000000   \n",
       "4      jakarta - kpk - indonesia - rp - ketua - jalan...     1.000000   \n",
       "...                                                  ...          ...   \n",
       "14257  trump - presiden - negara - israel - amerika -...     0.587749   \n",
       "14258  pemain - gol - laga - menit - musim - tim - li...     0.863007   \n",
       "14259  jakarta - kpk - indonesia - rp - ketua - jalan...     1.000000   \n",
       "14260  pemain - gol - laga - menit - musim - tim - li...     0.484409   \n",
       "14261  film - startup - teknologi - id - dailysocial ...     0.596784   \n",
       "\n",
       "       Representative_document  \n",
       "0                        False  \n",
       "1                        False  \n",
       "2                        False  \n",
       "3                        False  \n",
       "4                        False  \n",
       "...                        ...  \n",
       "14257                    False  \n",
       "14258                    False  \n",
       "14259                    False  \n",
       "14260                    False  \n",
       "14261                    False  \n",
       "\n",
       "[14262 rows x 11 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "topic_document_info = topic_model.get_document_info(ds[\"train\"][\"document\"], ds[\"train\"].to_pandas())\n",
    "\n",
    "topic_document_info"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8bc47f9462094221a1136f2616fafba5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map (num_proc=8):   0%|          | 0/14262 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "def add_topic(example, idx):\n",
    "    # if already have <tag>, return the example\n",
    "    if \"<tag>\" in example[\"document\"]:\n",
    "        return example\n",
    "\n",
    "    curr_topic = \" \".join(topic_document_info[\"Representation\"].values[idx])\n",
    "    example[\"document\"] = f\"<tag> {curr_topic} <tag> {example['document']}\"\n",
    "    \n",
    "    return example\n",
    "\n",
    "# get the processor number and set the number of process\n",
    "ds[\"train\"] = ds[\"train\"].map(add_topic, with_indices=True, num_proc=os.cpu_count())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\n",
      "    \"document\": [\n",
      "        \"<tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden <tag> Jakarta, CNN Indonesia - - Dokter Ryan Thamrin, yang terkenal lewat acara Dokter Oz Indonesia, meninggal dunia pada Jumat (4 / 8) dini hari. Dokter Lula Kamal yang merupakan selebriti sekaligus rekan kerja Ryan menyebut kawannya itu sudah sakit sejak setahun yang lalu. Lula menuturkan, sakit itu membuat Ryan mesti vakum dari semua kegiatannya, termasuk menjadi pembawa acara Dokter Oz Indonesia. Kondisi itu membuat Ryan harus kembali ke kampung halamannya di Pekanbaru, Riau untuk menjalani istirahat. \\\" Setahu saya dia orangnya sehat, tapi tahun lalu saya dengar dia sakit. (Karena) sakitnya, ia langsung pulang ke Pekanbaru, jadi kami yang mau jenguk juga susah. Barangkali mau istirahat, ya betul juga, kalau di Jakarta susah isirahatnya, \\\" kata Lula kepada CNNIndonesia.com, Jumat (4 / 8). Lula yang mengenal Ryan sejak sebelum aktif berkarier di televisi mengaku belum sempat membesuk Ryan lantaran lokasi yang jauh. Dia juga tak tahu penyakit apa yang diderita Ryan. \\\" Itu saya enggak tahu, belum sempat jenguk dan enggak selamanya bisa dijenguk juga. Enggak tahu berat sekali apa bagaimana, \\\" tutur Ryan. Walau sudah setahun menderita sakit, Lula tak mengetahui apa penyebab pasti kematian Dr Oz Indonesia itu. Meski demikian, ia mendengar beberapa kabar yang menyebut bahwa penyebab Ryan meninggal adalah karena jatuh di kamar mandi. \\u201c Saya tidak tahu, barangkali penyakit yang dulu sama yang sekarang berbeda, atau penyebab kematiannya beda dari penyakit sebelumnya. Kita kan enggak bisa mengambil kesimpulan, \\\" kata Lula. Ryan Thamrin terkenal sebagai dokter yang rutin membagikan tips dan informasi kesehatan lewat tayangan Dokter Oz Indonesia. Ryan menempuh Pendidikan Dokter pada tahun 2002 di Fakultas Kedokteran Universitas Gadjah Mada. Dia kemudian melanjutkan pendidikan Klinis Kesehatan Reproduksi dan Penyakit Menular Seksual di Mahachulalongkornrajavidyalaya University, Bangkok, Thailand pada 2004.\",\n",
      "        \"<tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden <tag> Selfie ialah salah satu tema terpanas di kalangan produsen smartphone, bahkan menjadi senjata andalan beberapa brand terkenal. Anda mungkin berpikir bahwa saat ini, pasar handset spesialis selfie sudah sangat sesak. Tapi Asus masih melihat adanya peluang besar menanti di sana. Dari data mereka, sebanyak 71 persen orang Indonesia setidaknya mengambil selfie atau wefie setiap minggu. Setelah mulai menyelami ranah swafoto dua tahun silam lewat ZanFone Selfie, sang produsen hardware asal Taiwan itu akhirnya membawa sepasang pewarisnya ke tanah air. Handset - handset ini merupakan anggota keluarga ZenFone generasi keempat dan keduanya sama-sama dibekali setup kamera ganda di depan. Mereka adalah Asus ZenFone 4 Selfie Pro ZD552KL dan ZenFone 4 Selfie ZD553KL. CEO Asus Jerry Shen menjelaskan bahwa sudah waktunya bagi Asus untuk memberikan penawaran baru buat penggemar self - portrait demi menunjukkan keseriusan mereka di segmen itu. Walaupun \\u00a0 telah tersedia banyak pilihan, \\u00a0 Asus berpendapat bahwa konsumen di Indonesia membutuhkan solusi yang \\u2018 lebih profesional\\u2019. Dua ZenFone Selfie anyar ini kabarnya diracik sedemikian rupa sebagai jawaban atas kekurangan yang ada di perangkat - perangkat kompetitor, khususnya pada aspek jangkauan lensa dan performa di kondisi low-light. ZenFone 4 Selfie Pro \\u00a0 merupakan produk swafoto pamungkas Asus. Tubuh berbahan aluminiumnya dibuat melalui teknik nano molding dan tiap lekukannya dibentuk secara presisi. Dipadu layar berlapis Corning Gorilla Glass 5 2.5D, saya akui penampilan handset ini sangat menawan, terutama \\u00a0 untuk varian berwarna merahnya. Sebagai jendela akses konten, smartphone \\u00a0  menghidangkan layar AMOLED 1080p berkepadatan 401 ppi seluas 5,5 - inci. Atraksi utama dari ZenFone 4 Selfie Pro tentu saja adalah kamera depannya. Di sana, Asus mencantumkan sistem DuoPixel 24Mp, berisi kombinasi sepasang sensor Sony Exmor RS IMX362 1,4 \\u00b5m 12 - megapixel dengan aperture f/1.8, ditambah sensor Omnivision 5670 1,12 \\u00b5m f/2.2 yang memiliki lensa wide-angle 120 derajat, sehingga kamera bisa merangkul objek dua kali lebih banyak \\u2013 memungkinkan Anda ber-selfie bersama kawan ataupun keluarga tanpa bantuan monopod. Selain itu, Asus melengkapi ZenFone 4 Selfie Pro dengan bundel perkakas khusus swafoto bernama SelfieMaster. Tool ini berisi fitur-fitur krusial semisal beautify (buat foto maupun video), serta kolase dan BeautyLive. Produsen juga tak lupa menyiapkan flash LED softlight \\u00a0 untuk membantu pengambilan foto di kondisi temaram. Kamera belakangnya sendiri mengandalkan sensor Sony Exmor IMX351 1 \\u00b5m 16 - megapixel berlensa 26 mm f/2.2. Ia dibantu sistem electronic image stabilization, phase detection autofocus, serta LED dual - tone flash. Di dalam, Asus mempersenjatai ZD552KL dengan chip Qualcomm Snapdragon 625 (ada prosesor octa-core Cortex - A53 2 GHz dan GPU Adreno 506), RAM sebesar 4 GB, ROM 64 GB, dan baterai 3.000 mAh. Smartphone berjalan di sistem operasi Android 7.1.1 Nougat plus interface ZenUI 4.0. ZD553KL ialah alternatif lebih terjangkau dari saudarinya di atas. Handset mengusung arahan desain serupa ZenFone 4 Selfie Pro, namun konstruksi tubuhnya terbuat dari plastik, dan layar IPS 5,5 - incinya menyajikan resolusi 720p. Tapi jangan cemas soal penampilannya, smartphone tetap memanfaatkan kaca 2.5D sehingga memberi kesan menyambung pada lekukan di sisi samping. Kapabilitas swafoto ZenFone 4 Selfie bersandar pada sensor Omnivision 20880 1 \\u00b5m 20 - megapixel f/2.0 dan sensor Omnivision 8856 1,12 \\u00b5m f/2.4 dengan lensa wide-angle 120 derajat. Sudut jangkauan jepretan dan sejumlah kelengkapannya tak berbeda dari Selfie 4 Pro. Anda kembali dihindangkan SelfieMaster, flash LED softlight, mode panorama, serta HDR. Ukuran megapixel kamera belakangnya setara ZenFone 4 Selfie Pro, namun jenis sensornya berbeda. Smartphone tersebut menggunakan Omnivision 16880 1 \\u00b5m 16Mp dengan aperture lensa f/2.2. Meski demikian, fitur-fitur penunjang fotografi seperti PDAF, EIS, dan flash LED juga tetap ada di sana. ZenFone 4 Selfie diotaki system-on-chip Qualcomm Snapdragon 430, berisi CPU octa-core Cortex - A53 1,4 GHz dan GPU Adreno 505. Handset menyimpan RAM 4 GB, memori internal 64 GB, lalu tenaganya dipasok oleh baterai 3.000 mAh non - removable di dalam. Satu keunikan yang membuat ZD553KL lebih \\u2018 unggul\\u2019 dari ZenFone 4 Selfie Pro adalah dukungan tiga slot kartu: dua untuk SIM, dan satu lagi buat microSD (storage dapat diekspansi \\u00a0 sampai \\u00a0 2 TB). Smartphone juga beroperasi di platform Android 7.1.1 Nougat dengan ZenUI 4.0. ZenFone 4 Selfie Pro ZD552KL dibanderol seharga Rp 5 juta, sedangkan ZenFone 4 Selfie ZD553KL dipatok di harga Rp 3,5 juta. Kedua perangkat sudah mulai dipasarkan mulai tanggal 25 November, dan sampai \\u00a0 tanggal 10 November nanti, paket penjualan turut dibundel bersama \\u2018 Gong Yoo Special Gift Box\\u2019 serta speaker Bluetooth khusus ZenFone 4 Selfie Pro \\u2013 selama persediaan masih ada. DailySocial.id adalah portal berita startup dan inovasi teknologi. Kamu bisa menjadi member komunitas startup dan inovasi DailySocial.id, mengunduh laporan riset dan statistik seputar teknologi secara cuma-cuma, dan mengikuti berita startup Indonesia dan gadget terbaru.\",\n",
      "        \"<tag> indonesia makanan tubuh orang memiliki makan anak air salah kanker <tag> Jakarta, CNN Indonesia - - Dinas Pariwisata Provinsi Bengkulu kembali menggelar kegiatan Bimbingan Teknis (Bimtek) SDM Kepariwisataan dalam menyongson \\\" Visit 2020 Wonderful Bengkulu \\\". Kegiatan yang berlangsung pada 8 hingga 10 November kemarin tersebut sebagai bagian dari upaya Pemerintah Provinsi Bengkulu dalam Hadir sebagai pemateri kegiatan pada 8 - 10 November itu adalah Plt. Asdep Strategi Pemasaran Pariwisata Nusantara, Deputi Bidang Pengembangan Pemasaran Pariwisata Nusantara Hariyanto serta perwakilan dari Deputi Bidang Pengembangan Kelembagaan Kementerian Pariwisata, Faizal. Kepala Dinas Pariwisata Provinsi Bengkulu Yudi Satria mengatakan, kegiatan Bimtek diikuti 250 peserta yang terdiri dari aparatur Pemerintah Provinsi, ASN Kabupaten / Kota, Kelompok Sadar Wisata serta pihak terkait sektor pariwisata di Bengkulu. \\\" Kegiatan ini dimaksudkan untuk memberikan pembekalan kepada peserta di bidang kepariwisataan, \\\" ujar Yudi Satria. Ia mengatakan, Pemprov telah menetapkan pariwisata sebagai salah satu sektor yang akan dikembangkan dan akan menjadi sektor unggulan dalam meningkatkan pertumbuhan ekonomi daerah serta masyarakat. Hal itu, jelas Yudi, tidak lepas dari potensi pariwisata di Bengkulu yang besar memiliki kekayaan alam yang indah serta budaya yang tinggi. \\\" Karena itu pula Pemprov telah menetapkan program' Visit 2020 Wonderful Bengkulu \\\" yang akan menjadi tujuan besar pariwisata Bengkulu. Salah satu poin utamanya adalah upaya menghasilkan SDM pariwisata yang andal yang akan diwujudkan melalui Bimtek ini, \\\" ujar Yudi. Selain itu, dalam menunjang proses' Visit 2020 Wonderful Bengkulu', Pemprov juga telah menyiapkan 52 acara yang akan digelar dalam satu tahun ke depan yang bertujuan mengangkat potensi lokal ke kelas dunia. \\\" Salah satu yang dirancang secara besar adalah Sail Bengkulu yang akan menjual keindahan alam laut Bengkulu yang berhadapan langsung dengan Samudera Hindia, \\\" kata dia. Ajang lainnya tentunya Festival Tabot Muharam yang selalu menyedot minat ribuan wisatawan setiap tahun serta Festival Bumi Rafflesia. \\\" Semua kegiatan ini harus disinkronkan, penguatan SDM dan bagaimana promosi pemasarannya agar semua acara ini layak jual untuk wisatawan, \\\" ujarnya. Sementara Hariyanto dalam kesempatan itu menyampaikan materi tentang pengembangan SDM sektor pariwisata dan pengemasan serta pemasaran satu acara. Dalam paparanya ia menjelaskan, bahwa Bimtek penting untuk meningkatkan kompetensi SDM kepariwisataan sehingga mampu berperan dalam peningkatan pembangunan kepariwisataan. Selain itu ia menegaskan bahwa dalam pengembangan pariwisata, promosi juga hal yang harus diperhatikan. Misalnya penekanan pada mekanisme promosi pariwisata secara digital atau daring, penyelenggaraan acara juga harus terkurasi dengan baik sehingga memiliki daya tarik yang kuat. \\\" Bagaimana juga meningkatkan efektivitas partisipasi Dinas Pariwisata pada penyelenggaraan acara dan bagaimana cara memasarkan dan mempromosikan agar bisa dikenal dan menjadi daya tarik wisatawan, \\u201d terang Hariyanto. Deputi Pengembangan Pemasaran Pariwisata Nusantara, Esthy Reko Astuti mengatakan, Bimtek kali ini juga bertujuan memberi perspektif dan arah yang sama tentang program promosi Pariwisata di Bengkulu. \\\" Selain itu juga untuk memahami potensi destinasi - destinasi wisata di Bengkulu, \\\" ujar Esthy. Menteri Pariwisata Arief Yahya mengapresiasi kegiatan Bimtek sebagai salah satu upaya dan komitmen dari Pemerintah Provinsi Bengkulu dalam mewujudkan pariwisata sebagai salah satu sektor utama. Ia pun berkomitmen akan mendung Penprov dalam mewujudkan \\\" Visit 2020 Wonderful Bengkulu \\\". \\\" Obyek wisata andalan Bengkulu, Benteng Marlborough, Rumah Bung Karno, Pantai Panjang yang memiliki pasir putih yang indah dan bersih. Semuanya world class, ditambah dengan puluhan atraksi didalamnya, tinggal kita akan dukung dan promosikan' Bengkulu Visit' sehingga lebih mendunia, \\\" kata Arief (syahb)\",\n",
      "        \"<tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden <tag> Merdeka.com - Indonesia Corruption Watch (ICW) meminta Komisi Pemberantas   Korupsi (KPK) ikut memantau perkembangan atas meninggalnya saksi kunci kasus mega korupsi e - KTP, Johannes Marliem. Peneliti ICW Divisi Hukum dan Monitoring Peradila, Aradila Caesar mengatakan momentum meninggalnya saksi kunci tersebut menimbulkan kejanggalan dan tanda tanya besar. \\\" Orang meninggal kita kan tidak bisa prediksi itu bukan kuasa kita. Tapi kalau kita melihat momentum kan ada suatu kejanggalan. Kenapa momentum meninggalnya, saat kasus e - ktp sedang ditangani oleh KPK, \\\" katanya seusai konferensi pers di Kantor Sekeretariatan ICW,   Jakarta, Minggu(13 / 8). Pihak ICW meminta KPK turut menyelidiki kematian saksi kunci ini dan menjelaskan kepada masyarakat apakah ada keterkaitan dengan permasalahan korupsi e - KTP atau hal-hal lain dibalik kematian Johannes. \\\" Kita minta KPK dan juga bekerja sama dengan pihak otoritas untuk menyelidiki kematian dari saksi kunci tersebut dengan serius. Artinya nanti KPK harus bisa menjelaskan kepada publik kenapa kematiannya, \\\" pintanya. ICW berharap dengan kematian saksi kunci, tidak membuat efek negatif untuk permasalahan kasus e - KTP ini. \\\" Jangan sampai kematiannya berdampak negatif dalam konteks membongkar kasus e - ktp tersebut, \\\" pungkasnya. [ded]\",\n",
      "        \"<tag> jakarta kpk indonesia rp ketua jalan partai tersangka persen pemerintah <tag> Merdeka.com - Presiden Joko Widodo (Jokowi) memimpin upacara penurunan bendera di Halaman Istana Merdeka,   Jakarta. Usai prosesi penurunan bendera dilakukan, Jokowi kembali bagi-bagi sepeda kepada tamu undangan yang mengenakan pakaian adat terbaik. Berbeda dengan saat upacara pengibaran bendera, bagi-bagi sepeda kali ini diumumkan oleh Wakil Presiden Jusuf Kalla (JK). Hal berbeda juga terjadi bagi mereka yang menerima. Apabila sepeda diberikan ke pejabat negara mau pun keluarga, kali ini sepeda diberikan kepada masyarakat biasa. \\\" Seperti tadi pagi, sore ini juga panitia membentuk tim penilai untuk menilai siapa yang berbusana tradisional adat - adat daerah yang paling baik sore ini, \\\" kata JK. Kelima penerima sepeda di antaranya, Frans Maksim yang merupakan Kepala Suku Arfak, Papua, Ratna Dewi Budiono yang mengenakan pakaian adat Dayak, Yusak Rumambi yang mengenakan pakaian adat Sulawesi Utara, Teuku Johan Marzuki yang mengenakan pakaian adat Aceh. Terakhir, ada Sumahartarti yang mengenakan pakaian adat asal Bengkulu. \\\" Silakan semua datang ke panggung. Mendapat sepeda dari Bapak Presiden bisa langsung dipakai keliling - keliling nanti, \\\" ujarnya. Pada Upacara Pengibaran Bendera, lima orang menggunakan pakaian adat terbaik, yakni Menteri Hukum dan Hak Asasi Manusia (Menkum HAM) Yasonna Hamonangan Laoly dengan pakaian adat Nias, Ketua DPD RI Oesman Sapta Odang yang menggunakan pakaian adat Minang, dan Asisten Ajudan Presiden Syarif Muhammad Fidriansyah dengan pakaian adat Dayak, Kalimantan Barat. Dua orang lainnya adalah istri Kapolri Jenderal Pol Tito Karnavian, Tri Suswati yang mengenakan pakaian adat Papua, dan istri Wakil Ketua MPR Mahyudin, Agati Suli menggunakan baju adat Dayak. [bal]\"\n",
      "    ],\n",
      "    \"id\": [\n",
      "        \"1501893029-lula-kamal-dokter-ryan-thamrin-sakit-sejak-setahun\",\n",
      "        \"1509072914-dua-smartphone-zenfone-baru-tawarkan-solusi-bersel\",\n",
      "        \"1510613677-songsong-visit-2020-bengkulu-perkuat-sdm-pariwisat\",\n",
      "        \"1502706803-icw-ada-kejanggalan-atas-tewasnya-saksi-kunci-e-kt\",\n",
      "        \"1503039338-pembagian-sepeda-usai-upacara-penurunan-bendera\"\n",
      "    ],\n",
      "    \"summary\": [\n",
      "        \"Dokter Lula Kamal yang merupakan selebriti sekaligus rekan kerja Ryan Thamrin menyebut kawannya itu sudah sakit sejak setahun yang lalu. Lula menuturkan, sakit itu membuat Ryan mesti vakum dari semua kegiatannya, termasuk menjadi pembawa acara Dokter Oz Indonesia. Kondisi itu membuat Ryan harus kembali ke kampung halamannya di Pekanbaru, Riau untuk menjalani istirahat.\",\n",
      "        \"Asus memperkenalkan \\u00a0 ZenFone generasi keempat dan keduanya sama-sama dibekali setup kamera ganda di depan. Mereka adalah Asus ZenFone 4 Selfie Pro ZD552KL dan ZenFone 4 Selfie ZD553KL. Dua ZenFone Selfie anyar ini kabarnya diracik sedemikian rupa sebagai jawaban atas kekurangan yang ada di perangkat - perangkat kompetitor, khususnya pada aspek jangkauan lensa dan performa di kondisi low-light.\",\n",
      "        \"Dinas Pariwisata Provinsi Bengkulu kembali menggelar kegiatan Bimbingan Teknis (Bimtek) SDM Kepariwisataan dalam menyongson \\\" Visit 2020 Wonderful Bengkulu \\\" pada 8 - 10 November 2017 yang lalu. Kegiatan yang berlangsung pada 8 hingga 10 November kemarin tersebut sebagai bagian dari upaya Pemerintah Provinsi Bengkulu dalam memperkuat SDM Pariwisata untuk menyongsong \\\" Visit 2020 Wonderful Bengkulu \\\".\",\n",
      "        \"Indonesia Corruption Watch (ICW) meminta Komisi Pemberantas Korupsi \\u00a0 (KPK) ikut memantau perkembangan atas meninggalnya saksi kunci kasus mega \\u00a0 korupsi \\u00a0 e - KTP, Johannes Marliem dan menjelaskan kepada masyarakat apakah ada keterkaitan dengan permasalahan korupsi e - KTP atau hal-hal lain dibalik kematian Johannes. Peneliti ICW Divisi Hukum dan Monitoring Peradila, Aradila Caesar mengatakan momentum meninggalnya saksi kunci tersebut menimbulkan kejanggalan dan tanda tanya besar.\",\n",
      "        \"Jokowi memimpin upacara penurunan bendera. Usai prosesi tersebut, Jokowi bagi-bagi sepeda kepada tamu undangan yang mengenakan pakaian adat terbaik. Berbeda dengan saat upacara pengibaran bendera, bagi-bagi sepeda kali ini diumumkan oleh Wakil Presiden Jusuf Kalla (JK). Hal berbeda juga terjadi bagi mereka yang menerima. Apabila sepeda diberikan ke pejabat negara mau pun keluarga, kali ini sepeda diberikan kepada masyarakat biasa.\"\n",
      "    ]\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "print(json.dumps(ds[\"train\"][:5], indent=4))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Load Model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "IndoNLGTokenizer(name_or_path='indobenchmark/indobart-v2', vocab_size=40004, model_max_length=1000000000000000019884624838656, is_fast=False, padding_side='right', truncation_side='right', special_tokens={'bos_token': '<s>', 'eos_token': '</s>', 'unk_token': '<unk>', 'sep_token': '</s>', 'pad_token': '<pad>', 'cls_token': '<s>', 'mask_token': '<mask>', 'additional_special_tokens': ['<tag>']}, clean_up_tokenization_spaces=False),  added_tokens_decoder={\n",
       "\t0: AddedToken(\"<s>\", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),\n",
       "\t1: AddedToken(\"<pad>\", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),\n",
       "\t2: AddedToken(\"</s>\", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),\n",
       "\t3: AddedToken(\"<unk>\", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),\n",
       "\t39942: AddedToken(\"<tag>\", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),\n",
       "\t40003: AddedToken(\"<mask>\", rstrip=False, lstrip=True, single_word=False, normalized=True, special=True),\n",
       "}"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bart_model = AutoModelForSeq2SeqLM.from_pretrained(\"indobenchmark/indobart-v2\")\n",
    "indonlg_tokenizer = IndoNLGTokenizer.from_pretrained(\"indobenchmark/indobart-v2\")\n",
    "\n",
    "indonlg_tokenizer.add_special_tokens({\"additional_special_tokens\": [\"<tag>\"]})\n",
    "\n",
    "model = bart_model\n",
    "tokenizer = indonlg_tokenizer\n",
    "\n",
    "tokenizer"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Train Model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "af2223f635524698868ac9f048797e59",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Map:   0%|          | 0/14262 [00:00<?, ? examples/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "raw: <tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden<tag> jakarta, cnn indonesia - - dokter ryan thamrin, yang terkenal lewat acara dokter oz indonesia, meninggal dunia pada jumat (4 / 8) dini hari. dokter lula kamal yang merupakan selebriti sekaligus rekan kerja ryan menyebut kawannya itu sudah sakit sejak setahun yang lalu. lula menuturkan, sakit itu membuat ryan mesti vakum dari semua kegiatannya, termasuk menjadi pembawa acara dokter oz indonesia. kondisi itu membuat ryan harus kembali ke kampung halamannya di pekanbaru, riau untuk menjalani istirahat. \" setahu saya dia orangnya sehat, tapi tahun lalu saya dengar dia sakit. (karena) sakitnya, ia langsung pulang ke pekanbaru, jadi kami yang mau jenguk juga susah. barangkali mau istirahat, ya betul juga, kalau di jakarta susah isirahatnya, \" kata lula kepada cnnindonesia.com, jumat (4 / 8). lula yang mengenal ryan sejak sebelum aktif berkarier di televisi mengaku belum sempat membesuk ryan lantaran lokasi yang jauh. dia juga tak tahu penyakit apa yang diderita ryan. \" itu saya enggak tahu, belum sempat jenguk dan enggak selamanya bisa dijenguk juga. enggak tahu berat sekali apa bagaimana, \" tutur ryan. walau sudah setahun menderita sakit, lula tak mengetahui apa penyebab pasti kematian dr oz indonesia itu. meski demikian, ia mendengar beberapa kabar yang menyebut bahwa penyebab ryan meninggal adalah karena jatuh di kamar mandi. “ saya tidak tahu, barangkali penyakit yang dulu sama yang sekarang berbeda, atau penyebab kematiannya beda dari penyakit sebelumnya. kita kan enggak bisa mengambil kesimpulan, \" kata lula. ryan thamrin terkenal sebagai dokter yang rutin membagikan tips dan informasi kesehatan lewat tayangan dokter oz indonesia. ryan menempuh pendidikan dokter pada tahun 2002 di fakultas kedokteran universitas gadjah mada. dia kemudian melanjutkan pendidikan klinis kesehatan reproduksi dan penyakit menular seksual di mahachulalongkornrajavidyalaya university, bangkok, thailand pada 2004.\n",
      "token:  ['<tag>', '▁indonesia', '▁jakarta', '▁orang', '▁negara', '▁anak', '▁salah', '▁pemerintah', '▁cnn', '▁rp', '▁presiden', '<tag>', '▁jakarta', ',', '▁cnn', '▁indonesia', '▁-', '▁-', '▁dokter', '▁ryan', '▁thamrin', ',', '▁yang', '▁terkenal', '▁lewat', '▁acara', '▁dokter', '▁oz', '▁indonesia', ',', '▁meninggal', '▁dunia', '▁pada', '▁jumat', '▁(', '4', '▁/', '▁8', ')', '▁dini', '▁hari', '.', '▁dokter', '▁l', 'ula', '▁kamal', '▁yang', '▁merupakan', '▁selebriti', '▁sekaligus', '▁rekan', '▁kerja', '▁ryan', '▁menyebut', '▁kawannya', '▁itu', '▁sudah', '▁sakit', '▁sejak', '▁setahun', '▁yang', '▁lalu', '.', '▁l', 'ula', '▁menuturkan', ',', '▁sakit', '▁itu', '▁membuat', '▁ryan', '▁mesti', '▁vakum', '▁dari', '▁semua', '▁kegiatannya', ',', '▁termasuk', '▁menjadi', '▁pembawa', '▁acara', '▁dokter', '▁oz', '▁indonesia', '.', '▁kondisi', '▁itu', '▁membuat', '▁ryan', '▁harus', '▁kembali', '▁ke', '▁kampung', '▁halamannya', '▁di', '▁pekanbaru', ',', '▁riau', '▁untuk', '▁menjalani', '▁istirahat', '.', '▁\"', '▁setahu', '▁saya', '▁dia', '▁orangnya', '▁sehat', ',', '▁tapi', '▁tahun', '▁lalu', '▁saya', '▁dengar', '▁dia', '▁sakit', '.', '▁(', 'karena', ')', '▁sakitnya', ',', '▁ia', '▁langsung', '▁pulang', '▁ke', '▁pekanbaru', ',', '▁jadi', '▁kami', '▁yang', '▁mau', '▁jeng', 'uk', '▁juga', '▁susah', '.', '▁barangkali', '▁mau', '▁istirahat', ',', '▁ya', '▁betul', '▁juga', ',', '▁kalau', '▁di', '▁jakarta', '▁susah', '▁is', 'irah', 'atnya', ',', '▁\"', '▁kata', '▁l', 'ula', '▁kepada', '▁cnn', 'indonesia', '.', 'com', ',', '▁jumat', '▁(', '4', '▁/', '▁8', ').', '▁l', 'ula', '▁yang', '▁mengenal', '▁ryan', '▁sejak', '▁sebelum', '▁aktif', '▁berkarier', '▁di', '▁televisi', '▁mengaku', '▁belum', '▁sempat', '▁memb', 'es', 'uk', '▁ryan', '▁lantaran', '▁lokasi', '▁yang', '▁jauh', '.', '▁dia', '▁juga', '▁tak', '▁tahu', '▁penyakit', '▁apa', '▁yang', '▁diderita', '▁ryan', '.', '▁\"', '▁itu', '▁saya', '▁enggak', '▁tahu', ',', '▁belum', '▁sempat', '▁jeng', 'uk', '▁dan', '▁enggak', '▁selamanya', '▁bisa', '▁dij', 'eng', 'uk', '▁juga', '.', '▁enggak', '▁tahu', '▁berat', '▁sekali', '▁apa', '▁bagaimana', ',', '▁\"', '▁tutur', '▁ryan', '.', '▁walau', '▁sudah', '▁setahun', '▁menderita', '▁sakit', ',', '▁l', 'ula', '▁tak', '▁mengetahui', '▁apa', '▁penyebab', '▁pasti', '▁kematian', '▁dr', '▁oz', '▁indonesia', '▁itu', '.', '▁meski', '▁demikian', ',', '▁ia', '▁mendengar', '▁beberapa', '▁kabar', '▁yang', '▁menyebut', '▁bahwa', '▁penyebab', '▁ryan', '▁meninggal', '▁adalah', '▁karena', '▁jatuh', '▁di', '▁kamar', '▁mandi', '.', '▁“', '▁saya', '▁tidak', '▁tahu', ',', '▁barangkali', '▁penyakit', '▁yang', '▁dulu', '▁sama', '▁yang', '▁sekarang', '▁berbeda', ',', '▁atau', '▁penyebab', '▁kematiannya', '▁beda', '▁dari', '▁penyakit', '▁sebelumnya', '.', '▁kita', '▁kan', '▁enggak', '▁bisa', '▁mengambil', '▁kesimpulan', ',', '▁\"', '▁kata', '▁l', 'ula', '.', '▁ryan', '▁thamrin', '▁terkenal', '▁sebagai', '▁dokter', '▁yang', '▁rutin', '▁membagikan', '▁tips', '▁dan', '▁informasi', '▁kesehatan', '▁lewat', '▁tayangan', '▁dokter', '▁oz', '▁indonesia', '.', '▁ryan', '▁menempuh', '▁pendidikan', '▁dokter', '▁pada', '▁tahun', '▁2002', '▁di', '▁fakultas', '▁kedokteran', '▁universitas', '▁gadjah', '▁mada', '.', '▁dia', '▁kemudian', '▁melanjutkan', '▁pendidikan', '▁klinis', '▁kesehatan', '▁reproduksi', '▁dan', '▁penyakit', '▁menular', '▁seksual', '▁di', '▁maha', 'ch', 'ula', 'l', 'ongk', 'orn', 'raja', 'vid', 'ya', 'laya', '▁university', ',', '▁bangkok', ',', '▁thailand', '▁pada', '▁2004', '.']\n",
      "tokenized: 39942 639 1105 507 992 646 690 1370 25846 1142 2304 39942 1105 39956 25846 639 292 292 2262 18231 25132 39956 295 2710 2509 1720 2262 23796 639 39956 2184 929 427 4459 327 39973 508 909 39965 4245 699 39955 2262 298 491 21951 295 783 18097 2898 4484 1024 18231 2634 24057 426 531 1598 1462 6673 295 946 39955 298 491 12185 39956 1598 426 679 18231 4517 18574 388 707 17314 39956 1493 526 12659 1720 2262 23796 639 39955 1597 426 679 18231 603 1051 304 4443 25569 277 9140 39956 2994 365 4761 6935 39955 536 27067 504 584 11168 2040 39956 722 574 946 504 5075 584 1598 39955 327 27515 39965 16919 39956 736 1078 2645 304 9140 39956 717 570 295 1044 10250 294 468 3648 39955 10824 1044 6935 39956 545 4201 468 39956 881 277 1105 3648 701 3473 2839 39956 536 944 298 491 843 25846 13171 39955 8046 39956 4459 327 39973 508 909 6758 298 491 295 3262 18231 1462 851 2213 33941 277 4741 3995 976 3028 567 318 294 18231 6322 1925 295 1447 39955 584 468 643 1093 1268 571 295 17089 18231 39955 536 426 504 6398 1093 39956 976 3028 10250 294 309 6398 8075 439 1605 306 294 468 39955 6398 1093 1707 933 571 1189 39956 536 6474 18231 39955 4919 531 6673 5379 1598 39956 298 491 643 1803 571 2715 1376 3911 1501 23796 639 426 39955 2589 1571 39956 736 3266 686 3095 295 2634 601 2715 18231 2184 450 500 3191 277 1668 3468 39955 1332 504 410 1093 39956 10824 1268 295 1637 767 295 995 1395 39956 470 2715 18237 2937 388 1268 1399 39955 489 957 6398 439 1991 6183 39956 536 944 298 491 39955 18231 25132 2710 547 2262 295 3968 7929 2277 309 1055 1382 2509 14016 2262 23796 639 39955 18231 9730 1285 2262 427 574 6143 277 4879 8140 2561 24469 12887 39955 584 1026 4460 1285 12737 1382 9902 309 1268 7744 4306 277 4553 794 491 39948 2171 15058 25441 7077 282 5696 7180 39956 10242 39956 7399 427 4968 39955\n",
      "\n",
      "raw: <tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden<tag> selfie ialah salah satu tema terpanas di kalangan produsen smartphone, bahkan menjadi senjata andalan beberapa brand terkenal. anda mungkin berpikir bahwa saat ini, pasar handset spesialis selfie sudah sangat sesak. tapi asus masih melihat adanya peluang besar menanti di sana. dari data mereka, sebanyak 71 persen orang indonesia setidaknya mengambil selfie atau wefie setiap minggu. setelah mulai menyelami ranah swafoto dua tahun silam lewat zanfone selfie, sang produsen hardware asal taiwan itu akhirnya membawa sepasang pewarisnya ke tanah air. handset - handset ini merupakan anggota keluarga zenfone generasi keempat dan keduanya sama-sama dibekali setup kamera ganda di depan. mereka adalah asus zenfone 4 selfie pro zd552kl dan zenfone 4 selfie zd553kl. ceo asus jerry shen menjelaskan bahwa sudah waktunya bagi asus untuk memberikan penawaran baru buat penggemar self - portrait demi menunjukkan keseriusan mereka di segmen itu. walaupun telah tersedia banyak pilihan, asus berpendapat bahwa konsumen di indonesia membutuhkan solusi yang â<0x80><0x98> lebih profesionalâ<0x80><0x99>. dua zenfone selfie anyar ini kabarnya diracik sedemikian rupa sebagai jawaban atas kekurangan yang ada di perangkat - perangkat kompetitor, khususnya pada aspek jangkauan lensa dan performa di kondisi low-light. zenfone 4 selfie pro merupakan produk swafoto pamungkas asus. tubuh berbahan aluminiumnya dibuat melalui teknik nano molding dan tiap lekukannya dibentuk secara presisi. dipadu layar berlapis corning gorilla glass 5 2.5d, saya akui penampilan handset ini sangat menawan, terutama untuk varian berwarna merahnya. sebagai jendela akses konten, smartphone menghidangkan layar amoled 1080p berkepadatan 401 ppi seluas 5,5 - inci. atraksi utama dari zenfone 4 selfie pro tentu saja adalah kamera depannya. di sana, asus mencantumkan sistem duopixel 24mp, berisi kombinasi sepasang sensor sony exmor rs imx362 1,4 Î¼m 12 - megapixel dengan aperture f/1.8, ditambah sensor omnivision 5670 1,12 Î¼m f/2.2 yang memiliki lensa wide-angle 120 derajat, sehingga kamera bisa merangkul objek dua kali lebih banyak â<0x80><0x93> memungkinkan anda ber-selfie bersama kawan ataupun keluarga tanpa bantuan monopod. selain itu, asus melengkapi zenfone 4 selfie pro dengan bundel perkakas khusus swafoto bernama selfiemaster. tool ini berisi fitur-fitur krusial semisal beautify (buat foto maupun video), serta kolase dan beautylive. produsen juga tak lupa menyiapkan flash led softlight untuk membantu pengambilan foto di kondisi temaram. kamera belakangnya sendiri mengandalkan sensor sony exmor imx351 1 Î¼m 16 - megapixel berlensa 26 mm f/2.2. ia dibantu sistem electronic image stabilization, phase detection autofocus, serta led dual - tone flash. di dalam, asus mempersenjatai zd552kl dengan chip qualcomm snapdragon 625 (ada prosesor octa-core cortex - a53 2 ghz dan gpu adreno 506), ram sebesar 4 gb, rom 64 gb, dan baterai 3.000 mah. smartphone berjalan di sistem operasi android 7.1.1 nougat plus interface zenui 4.0. zd553kl ialah alternatif lebih terjangkau dari saudarinya di atas. handset mengusung arahan desain serupa zenfone 4 selfie pro, namun konstruksi tubuhnya terbuat dari plastik, dan layar ips 5,5 - incinya menyajikan resolusi 720p. tapi jangan cemas soal penampilannya, smartphone tetap memanfaatkan kaca 2.5d sehingga memberi kesan menyambung pada lekukan di sisi samping. kapabilitas swafoto zenfone 4 selfie bersandar pada sensor omnivision 20880 1 Î¼m 20 - megapixel f/2.0 dan sensor omnivision 8856 1,12 Î¼m f/2.4 dengan lensa wide-angle 120 derajat. sudut jangkauan jepretan dan sejumlah kelengkapannya tak berbeda dari selfie 4 pro. anda kembali dihindangkan selfi\n",
      "token:  ['<tag>', '▁indonesia', '▁jakarta', '▁orang', '▁negara', '▁anak', '▁salah', '▁pemerintah', '▁cnn', '▁rp', '▁presiden', '<tag>', '▁selfie', '▁ialah', '▁salah', '▁satu', '▁tema', '▁terpan', 'as', '▁di', '▁kalangan', '▁produsen', '▁smartphone', ',', '▁bahkan', '▁menjadi', '▁senjata', '▁andalan', '▁beberapa', '▁brand', '▁terkenal', '.', '▁anda', '▁mungkin', '▁berpikir', '▁bahwa', '▁saat', '▁ini', ',', '▁pasar', '▁handset', '▁spesialis', '▁selfie', '▁sudah', '▁sangat', '▁sesak', '.', '▁tapi', '▁asus', '▁masih', '▁melihat', '▁adanya', '▁peluang', '▁besar', '▁menanti', '▁di', '▁sana', '.', '▁dari', '▁data', '▁mereka', ',', '▁sebanyak', '▁71', '▁persen', '▁orang', '▁indonesia', '▁setidaknya', '▁mengambil', '▁selfie', '▁atau', '▁we', 'fie', '▁setiap', '▁minggu', '.', '▁setelah', '▁mulai', '▁menye', 'lami', '▁ranah', '▁swa', 'foto', '▁dua', '▁tahun', '▁silam', '▁lewat', '▁zan', 'fone', '▁selfie', ',', '▁sang', '▁produsen', '▁hardware', '▁asal', '▁taiwan', '▁itu', '▁akhirnya', '▁membawa', '▁sepasang', '▁pewaris', 'nya', '▁ke', '▁tanah', '▁air', '.', '▁handset', '▁-', '▁handset', '▁ini', '▁merupakan', '▁anggota', '▁keluarga', '▁zenfone', '▁generasi', '▁keempat', '▁dan', '▁keduanya', '▁sama', '-', 's', 'ama', '▁dibekali', '▁setup', '▁kamera', '▁ganda', '▁di', '▁depan', '.', '▁mereka', '▁adalah', '▁asus', '▁zenfone', '▁4', '▁selfie', '▁pro', '▁z', 'd', '55', '2', 'kl', '▁dan', '▁zenfone', '▁4', '▁selfie', '▁z', 'd', '55', '3', 'kl', '.', '▁ceo', '▁asus', '▁jerry', '▁shen', '▁menjelaskan', '▁bahwa', '▁sudah', '▁waktunya', '▁bagi', '▁asus', '▁untuk', '▁memberikan', '▁penawaran', '▁baru', '▁buat', '▁penggemar', '▁self', '▁-', '▁por', 'tr', 'ait', '▁demi', '▁menunjukkan', '▁keseriusan', '▁mereka', '▁di', '▁segmen', '▁itu', '.', '▁walaupun', '▁telah', '▁tersedia', '▁banyak', '▁pilihan', ',', '▁asus', '▁berpendapat', '▁bahwa', '▁konsumen', '▁di', '▁indonesia', '▁membutuhkan', '▁solusi', '▁yang', '▁', 'â', '<0x80>', '<0x98>', '▁lebih', '▁profesional', 'â', '<0x80>', '<0x99>', '.', '▁dua', '▁zenfone', '▁selfie', '▁anyar', '▁ini', '▁kabarnya', '▁diracik', '▁sedemikian', '▁rupa', '▁sebagai', '▁jawaban', '▁atas', '▁kekurangan', '▁yang', '▁ada', '▁di', '▁perangkat', '▁-', '▁perangkat', '▁kompetitor', ',', '▁khususnya', '▁pada', '▁aspek', '▁jangkauan', '▁lensa', '▁dan', '▁performa', '▁di', '▁kondisi', '▁low', '-', 'light', '.', '▁zenfone', '▁4', '▁selfie', '▁pro', '▁merupakan', '▁produk', '▁swa', 'foto', '▁pamungkas', '▁asus', '.', '▁tubuh', '▁berbahan', '▁aluminium', 'nya', '▁dibuat', '▁melalui', '▁teknik', '▁nano', '▁mold', 'ing', '▁dan', '▁tiap', '▁lekukan', 'nya', '▁dibentuk', '▁secara', '▁presisi', '.', '▁dipadu', '▁layar', '▁berlapis', '▁cor', 'ning', '▁gorilla', '▁glass', '▁5', '▁2', '.', '5', 'd', ',', '▁saya', '▁akui', '▁penampilan', '▁handset', '▁ini', '▁sangat', '▁menawan', ',', '▁terutama', '▁untuk', '▁varian', '▁berwarna', '▁merahnya', '.', '▁sebagai', '▁jendela', '▁akses', '▁konten', ',', '▁smartphone', '▁menghidangkan', '▁layar', '▁am', 'oled', '▁1080', 'p', '▁berkep', 'adatan', '▁40', '1', '▁ppi', '▁seluas', '▁5', ',', '5', '▁-', '▁inci', '.', '▁atraksi', '▁utama', '▁dari', '▁zenfone', '▁4', '▁selfie', '▁pro', '▁tentu', '▁saja', '▁adalah', '▁kamera', '▁depannya', '.', '▁di', '▁sana', ',', '▁asus', '▁mencantumkan', '▁sistem', '▁du', 'opi', 'x', 'el', '▁24', 'mp', ',', '▁berisi', '▁kombinasi', '▁sepasang', '▁sensor', '▁sony', '▁ex', 'mor', '▁rs', '▁im', 'x', '36', '2', '▁1', ',', '4', '▁', 'Î', '¼', 'm', '▁12', '▁-', '▁megapixel', '▁dengan', '▁aper', 'ture', '▁f', '/', '1', '.', '8', ',', '▁ditambah', '▁sensor', '▁om', 'ni', 'vision', '▁56', '70', '▁1', ',', '12', '▁', 'Î', '¼', 'm', '▁f', '/', '2', '.', '2', '▁yang', '▁memiliki', '▁lensa', '▁wide', '-', 'ang', 'le', '▁120', '▁derajat', ',', '▁sehingga', '▁kamera', '▁bisa', '▁merangkul', '▁objek', '▁dua', '▁kali', '▁lebih', '▁banyak', '▁', 'â', '<0x80>', '<0x93>', '▁memungkinkan', '▁anda', '▁ber', '-', 'sel', 'fie', '▁bersama', '▁kawan', '▁ataupun', '▁keluarga', '▁tanpa', '▁bantuan', '▁monop', 'od', '.', '▁selain', '▁itu', ',', '▁asus', '▁melengkapi', '▁zenfone', '▁4', '▁selfie', '▁pro', '▁dengan', '▁bund', 'el', '▁perkakas', '▁khusus', '▁swa', 'foto', '▁bernama', '▁sel', 'fi', 'emas', 'ter', '.', '▁tool', '▁ini', '▁berisi', '▁fitur', '-', 'fit', 'ur', '▁krusial', '▁semisal', '▁beautif', 'y', '▁(', 'buat', '▁foto', '▁maupun', '▁video', '),', '▁serta', '▁kola', 'se', '▁dan', '▁beauty', 'li', 've', '.', '▁produsen', '▁juga', '▁tak', '▁lupa', '▁menyiapkan', '▁flash', '▁led', '▁soft', 'light', '▁untuk', '▁membantu', '▁pengambilan', '▁foto', '▁di', '▁kondisi', '▁tem', 'aram', '.', '▁kamera', '▁belakangnya', '▁sendiri', '▁mengandalkan', '▁sensor', '▁sony', '▁ex', 'mor', '▁im', 'x', '35', '1', '▁1', '▁', 'Î', '¼', 'm', '▁16', '▁-', '▁megapixel', '▁berl', 'ensa', '▁26', '▁mm', '▁f', '/', '2', '.', '2', '.', '▁ia', '▁dibantu', '▁sistem', '▁electronic', '▁image', '▁stabil', 'ization', ',', '▁phase', '▁det', 'ection', '▁autof', 'ocus', ',', '▁serta', '▁led', '▁dual', '▁-', '▁tone', '▁flash', '.', '▁di', '▁dalam', ',', '▁asus', '▁memper', 'senjatai', '▁z', 'd', '55', '2', 'kl', '▁dengan', '▁chip', '▁qualcomm', '▁snapdragon', '▁625', '▁(', 'ada', '▁prosesor', '▁octa', '-', 'core', '▁cortex', '▁-', '▁a', '53', '▁2', '▁ghz', '▁dan', '▁gpu', '▁adren', 'o', '▁50', '6', '),', '▁ram', '▁sebesar', '▁4', '▁gb', ',', '▁rom', '▁64', '▁gb', ',', '▁dan', '▁baterai', '▁3', '.', '000', '▁mah', '.', '▁smartphone', '▁berjalan', '▁di', '▁sistem', '▁operasi', '▁android', '▁7', '.', '1', '.', '1', '▁no', 'ugat', '▁plus', '▁interface', '▁zen', 'ui', '▁4', '.', '0', '.', '▁z', 'd', '55', '3', 'kl', '▁ialah', '▁alternatif', '▁lebih', '▁terjangkau', '▁dari', '▁saud', 'arinya', '▁di', '▁atas', '.', '▁handset', '▁mengusung', '▁arahan', '▁desain', '▁serupa', '▁zenfone', '▁4', '▁selfie', '▁pro', ',', '▁namun', '▁konstruksi', '▁tubuhnya', '▁terbuat', '▁dari', '▁plastik', ',', '▁dan', '▁layar', '▁ips', '▁5', ',', '5', '▁-', '▁inc', 'inya', '▁menyajikan', '▁resolusi', '▁720', 'p', '.', '▁tapi', '▁jangan', '▁cemas', '▁soal', '▁penampilannya', ',', '▁smartphone', '▁tetap', '▁memanfaatkan', '▁kaca', '▁2', '.', '5', 'd', '▁sehingga', '▁memberi', '▁kesan', '▁menyambung', '▁pada', '▁lekukan', '▁di', '▁sisi', '▁samping', '.', '▁kapabilitas', '▁swa', 'foto', '▁zenfone', '▁4', '▁selfie', '▁bersandar', '▁pada', '▁sensor', '▁om', 'ni', 'vision', '▁2', '088', '0', '▁1', '▁', 'Î', '¼', 'm', '▁20', '▁-', '▁megapixel', '▁f', '/', '2', '.', '0', '▁dan', '▁sensor', '▁om', 'ni', 'vision', '▁88', '56', '▁1', ',', '12', '▁', 'Î', '¼', 'm', '▁f', '/', '2', '.', '4', '▁dengan', '▁lensa', '▁wide', '-', 'ang', 'le', '▁120', '▁derajat', '.', '▁sudut', '▁jangkauan', '▁jepretan', '▁dan', '▁sejumlah', '▁kel', 'engkapannya', '▁tak', '▁berbeda', '▁dari', '▁selfie', '▁4', '▁pro', '.', '▁anda', '▁kembali', '▁dih', 'ind', 'angkan', '▁sel', 'fi']\n",
      "tokenized: 39942 639 1105 507 992 646 690 1370 25846 1142 2304 39942 12579 4731 690 563 3957 24785 280 277 3458 5237 2896 39956 1083 526 4854 8797 686 5404 2710 39955 423 880 2939 601 580 361 39956 1725 31879 9747 12579 531 578 12262 39955 722 8749 728 1048 1452 3148 735 13357 277 2047 39955 388 1256 551 39956 2826 11722 3171 507 639 4147 1991 12579 470 4328 10557 879 2129 39955 756 973 13077 1431 14596 24559 14794 948 574 10769 2509 32589 14354 12579 39956 542 5237 12036 2146 11532 426 1487 2156 11244 23217 333 304 1472 887 39955 31879 292 31879 361 783 1563 1480 16092 3725 5818 309 3683 767 39962 39944 444 12389 27363 3449 5200 277 1539 39955 551 450 8749 16092 647 12579 833 926 39946 17809 39964 32596 309 16092 647 12579 926 39946 17809 39970 32596 39955 13205 8749 26426 19911 2856 601 531 5734 568 8749 365 932 4361 744 1262 6241 13251 292 2879 532 1975 2691 2092 24602 551 277 10429 426 39955 2723 694 2436 549 1687 39956 8749 7554 601 2927 277 639 2172 3346 295 39935 230 132 156 505 3144 230 132 157 39955 948 16092 12579 4388 361 11250 37146 8932 4360 547 3259 818 3891 295 387 277 2591 292 2591 18824 39956 2719 427 3749 12761 8751 309 7149 277 1597 1984 39962 11806 39955 16092 647 12579 833 783 770 24559 14794 17874 8749 39955 1191 9384 12922 333 2071 1094 2417 18289 32786 317 309 2746 29027 333 6379 675 24410 39955 35409 3382 22111 3506 4665 34849 17506 628 322 39955 39972 39946 39956 504 15554 4273 31879 361 578 11411 39956 2001 365 7041 3722 37581 39955 547 6365 2673 4757 39956 2896 37877 3382 841 37575 22151 39949 15919 36536 2630 39967 22616 10201 628 39956 39972 292 10285 39955 16122 1569 388 16092 647 12579 833 1433 665 450 3449 8450 39955 277 2047 39956 8749 15206 1169 1880 2388 39979 331 2052 4421 39956 4064 5623 11244 8295 9020 1962 33460 5115 1561 39979 12000 39964 406 39956 39973 39935 210 192 39945 1301 292 37585 354 27750 8488 405 39974 39967 39955 39959 39956 3034 8295 2791 1002 36826 5999 8242 406 39956 5125 39935 210 192 39945 405 39974 39964 39955 39964 295 607 8751 22324 39962 268 813 7474 6571 39956 842 3449 439 24037 3463 948 861 505 549 39935 230 132 151 3578 423 313 39962 2911 10557 1154 4218 2296 1480 1020 2602 36004 473 39955 1000 426 39956 8749 8042 16092 647 12579 833 354 10119 331 20602 1254 24559 14794 2915 537 1600 6423 472 39955 7754 361 4064 2253 39962 15057 310 20814 14069 26844 39953 327 587 1514 1351 1908 17193 825 4926 481 309 11816 804 1324 39955 5237 468 643 2583 5580 5378 374 3462 11806 365 1353 7709 1514 277 1597 555 5320 39955 3449 15170 802 8331 8295 9020 1962 33460 1561 39979 8890 39967 406 39935 210 192 39945 1797 292 37585 1464 38368 3025 3594 405 39974 39964 39955 39964 39955 736 8396 1169 16861 11059 5231 33576 39956 32277 5310 8860 33035 36711 39956 825 374 10961 292 25545 5378 39955 277 420 39956 8749 819 35322 926 39946 17809 39964 32596 354 4935 26927 20363 29651 327 319 9719 23851 39962 21292 33009 292 363 21258 322 15303 309 22743 37776 39952 2119 39978 17193 1255 2239 647 4300 39956 2748 6505 4300 39956 309 5647 533 39955 3686 968 39955 2896 1988 277 1169 2722 2518 377 39955 39967 39955 39967 1121 32507 4129 19088 10668 808 647 39955 39958 39955 926 39946 17809 39970 32596 4731 4297 505 4909 388 7503 9482 277 818 39955 31879 10239 12657 1859 5248 16092 647 12579 833 39956 737 6280 5592 3953 388 5114 39956 309 3382 10601 628 39956 39972 292 5896 513 7051 8419 19231 39949 39955 722 1063 10392 2134 13198 39956 2896 1161 3783 2443 322 39955 39972 39946 842 2031 5741 17639 427 29027 277 2307 3200 39955 31514 24559 14794 16092 647 12579 20506 427 8295 2791 1002 36826 322 392 39958 406 39935 210 192 39945 483 292 37585 405 39974 39964 39955 39958 309 8295 2791 1002 36826 4944 26561 406 39956 5125 39935 210 192 39945 405 39974 39964 39955 39973 354 8751 22324 39962 268 813 7474 6571 39955 4614 12761 31227 309 2568 839 35400 643 1395 388 12579 647 833 39955 423 1051 1145 653 723 537 1600\n",
      "\n",
      "raw: <tag> indonesia makanan tubuh orang memiliki makan anak air salah kanker<tag> jakarta, cnn indonesia - - dinas pariwisata provinsi bengkulu kembali menggelar kegiatan bimbingan teknis (bimtek) sdm kepariwisataan dalam menyongson \" visit 2020 wonderful bengkulu \". kegiatan yang berlangsung pada 8 hingga 10 november kemarin tersebut sebagai bagian dari upaya pemerintah provinsi bengkulu dalam hadir sebagai pemateri kegiatan pada 8 - 10 november itu adalah plt. asdep strategi pemasaran pariwisata nusantara, deputi bidang pengembangan pemasaran pariwisata nusantara hariyanto serta perwakilan dari deputi bidang pengembangan kelembagaan kementerian pariwisata, faizal. kepala dinas pariwisata provinsi bengkulu yudi satria mengatakan, kegiatan bimtek diikuti 250 peserta yang terdiri dari aparatur pemerintah provinsi, asn kabupaten / kota, kelompok sadar wisata serta pihak terkait sektor pariwisata di bengkulu. \" kegiatan ini dimaksudkan untuk memberikan pembekalan kepada peserta di bidang kepariwisataan, \" ujar yudi satria. ia mengatakan, pemprov telah menetapkan pariwisata sebagai salah satu sektor yang akan dikembangkan dan akan menjadi sektor unggulan dalam meningkatkan pertumbuhan ekonomi daerah serta masyarakat. hal itu, jelas yudi, tidak lepas dari potensi pariwisata di bengkulu yang besar memiliki kekayaan alam yang indah serta budaya yang tinggi. \" karena itu pula pemprov telah menetapkan program' visit 2020 wonderful bengkulu \" yang akan menjadi tujuan besar pariwisata bengkulu. salah satu poin utamanya adalah upaya menghasilkan sdm pariwisata yang andal yang akan diwujudkan melalui bimtek ini, \" ujar yudi. selain itu, dalam menunjang proses' visit 2020 wonderful bengkulu', pemprov juga telah menyiapkan 52 acara yang akan digelar dalam satu tahun ke depan yang bertujuan mengangkat potensi lokal ke kelas dunia. \" salah satu yang dirancang secara besar adalah sail bengkulu yang akan menjual keindahan alam laut bengkulu yang berhadapan langsung dengan samudera hindia, \" kata dia. ajang lainnya tentunya festival tabot muharam yang selalu menyedot minat ribuan wisatawan setiap tahun serta festival bumi rafflesia. \" semua kegiatan ini harus disinkronkan, penguatan sdm dan bagaimana promosi pemasarannya agar semua acara ini layak jual untuk wisatawan, \" ujarnya. sementara hariyanto dalam kesempatan itu menyampaikan materi tentang pengembangan sdm sektor pariwisata dan pengemasan serta pemasaran satu acara. dalam paparanya ia menjelaskan, bahwa bimtek penting untuk meningkatkan kompetensi sdm kepariwisataan sehingga mampu berperan dalam peningkatan pembangunan kepariwisataan. selain itu ia menegaskan bahwa dalam pengembangan pariwisata, promosi juga hal yang harus diperhatikan. misalnya penekanan pada mekanisme promosi pariwisata secara digital atau daring, penyelenggaraan acara juga harus terkurasi dengan baik sehingga memiliki daya tarik yang kuat. \" bagaimana juga meningkatkan efektivitas partisipasi dinas pariwisata pada penyelenggaraan acara dan bagaimana cara memasarkan dan mempromosikan agar bisa dikenal dan menjadi daya tarik wisatawan, ” terang hariyanto. deputi pengembangan pemasaran pariwisata nusantara, esthy reko astuti mengatakan, bimtek kali ini juga bertujuan memberi perspektif dan arah yang sama tentang program promosi pariwisata di bengkulu. \" selain itu juga untuk memahami potensi destinasi - destinasi wisata di bengkulu, \" ujar esthy. menteri pariwisata arief yahya mengapresiasi kegiatan bimtek sebagai salah satu upaya dan komitmen dari pemerintah provinsi bengkulu dalam mewujudkan pariwisata sebagai salah satu sektor utama. ia pun berkomitmen akan mendung penprov dalam mewujudkan \" visit 2020 wonderful bengkulu \". \" obyek wisata andalan bengkulu, benteng marlborough, rumah bung karno, pantai panjang yang memiliki pasir putih yang indah dan bersih. semuanya world class, ditambah dengan puluhan atraksi didalamnya, tinggal kita akan dukung dan promosikan' bengkulu visit' sehingga lebih mendunia, \" kata arief (syahb)\n",
      "token:  ['<tag>', '▁indonesia', '▁makanan', '▁tubuh', '▁orang', '▁memiliki', '▁makan', '▁anak', '▁air', '▁salah', '▁kanker', '<tag>', '▁jakarta', ',', '▁cnn', '▁indonesia', '▁-', '▁-', '▁dinas', '▁pariwisata', '▁provinsi', '▁bengkulu', '▁kembali', '▁menggelar', '▁kegiatan', '▁bimbingan', '▁teknis', '▁(', 'b', 'im', 'tek', ')', '▁sdm', '▁kepariwisataan', '▁dalam', '▁meny', 'ong', 'son', '▁\"', '▁visit', '▁2020', '▁wonderful', '▁bengkulu', '▁\".', '▁kegiatan', '▁yang', '▁berlangsung', '▁pada', '▁8', '▁hingga', '▁10', '▁november', '▁kemarin', '▁tersebut', '▁sebagai', '▁bagian', '▁dari', '▁upaya', '▁pemerintah', '▁provinsi', '▁bengkulu', '▁dalam', '▁hadir', '▁sebagai', '▁pemateri', '▁kegiatan', '▁pada', '▁8', '▁-', '▁10', '▁november', '▁itu', '▁adalah', '▁plt', '.', '▁as', 'd', 'ep', '▁strategi', '▁pemasaran', '▁pariwisata', '▁nusantara', ',', '▁deputi', '▁bidang', '▁pengembangan', '▁pemasaran', '▁pariwisata', '▁nusantara', '▁hari', 'yanto', '▁serta', '▁perwakilan', '▁dari', '▁deputi', '▁bidang', '▁pengembangan', '▁kelembagaan', '▁kementerian', '▁pariwisata', ',', '▁fai', 'zal', '.', '▁kepala', '▁dinas', '▁pariwisata', '▁provinsi', '▁bengkulu', '▁yudi', '▁satria', '▁mengatakan', ',', '▁kegiatan', '▁bimtek', '▁diikuti', '▁250', '▁peserta', '▁yang', '▁terdiri', '▁dari', '▁aparatur', '▁pemerintah', '▁provinsi', ',', '▁asn', '▁kabupaten', '▁/', '▁kota', ',', '▁kelompok', '▁sadar', '▁wisata', '▁serta', '▁pihak', '▁terkait', '▁sektor', '▁pariwisata', '▁di', '▁bengkulu', '.', '▁\"', '▁kegiatan', '▁ini', '▁dimaksudkan', '▁untuk', '▁memberikan', '▁pembekalan', '▁kepada', '▁peserta', '▁di', '▁bidang', '▁kepariwisataan', ',', '▁\"', '▁ujar', '▁yudi', '▁satria', '.', '▁ia', '▁mengatakan', ',', '▁pemprov', '▁telah', '▁menetapkan', '▁pariwisata', '▁sebagai', '▁salah', '▁satu', '▁sektor', '▁yang', '▁akan', '▁dikembangkan', '▁dan', '▁akan', '▁menjadi', '▁sektor', '▁unggulan', '▁dalam', '▁meningkatkan', '▁pertumbuhan', '▁ekonomi', '▁daerah', '▁serta', '▁masyarakat', '.', '▁hal', '▁itu', ',', '▁jelas', '▁yudi', ',', '▁tidak', '▁lepas', '▁dari', '▁potensi', '▁pariwisata', '▁di', '▁bengkulu', '▁yang', '▁besar', '▁memiliki', '▁kekayaan', '▁alam', '▁yang', '▁indah', '▁serta', '▁budaya', '▁yang', '▁tinggi', '.', '▁\"', '▁karena', '▁itu', '▁pula', '▁pemprov', '▁telah', '▁menetapkan', '▁program', \"'\", '▁visit', '▁2020', '▁wonderful', '▁bengkulu', '▁\"', '▁yang', '▁akan', '▁menjadi', '▁tujuan', '▁besar', '▁pariwisata', '▁bengkulu', '.', '▁salah', '▁satu', '▁poin', '▁utamanya', '▁adalah', '▁upaya', '▁menghasilkan', '▁sdm', '▁pariwisata', '▁yang', '▁andal', '▁yang', '▁akan', '▁diwujudkan', '▁melalui', '▁bimtek', '▁ini', ',', '▁\"', '▁ujar', '▁yudi', '.', '▁selain', '▁itu', ',', '▁dalam', '▁menunjang', '▁proses', \"'\", '▁visit', '▁2020', '▁wonderful', '▁bengkulu', \"'\", ',', '▁pemprov', '▁juga', '▁telah', '▁menyiapkan', '▁52', '▁acara', '▁yang', '▁akan', '▁digelar', '▁dalam', '▁satu', '▁tahun', '▁ke', '▁depan', '▁yang', '▁bertujuan', '▁mengangkat', '▁potensi', '▁lokal', '▁ke', '▁kelas', '▁dunia', '.', '▁\"', '▁salah', '▁satu', '▁yang', '▁dirancang', '▁secara', '▁besar', '▁adalah', '▁sail', '▁bengkulu', '▁yang', '▁akan', '▁menjual', '▁keindahan', '▁alam', '▁laut', '▁bengkulu', '▁yang', '▁berhadapan', '▁langsung', '▁dengan', '▁samudera', '▁hindia', ',', '▁\"', '▁kata', '▁dia', '.', '▁ajang', '▁lainnya', '▁tentunya', '▁festival', '▁tab', 'ot', '▁muh', 'aram', '▁yang', '▁selalu', '▁menyedot', '▁minat', '▁ribuan', '▁wisatawan', '▁setiap', '▁tahun', '▁serta', '▁festival', '▁bumi', '▁raff', 'l', 'esia', '.', '▁\"', '▁semua', '▁kegiatan', '▁ini', '▁harus', '▁dis', 'inkron', 'kan', ',', '▁penguatan', '▁sdm', '▁dan', '▁bagaimana', '▁promosi', '▁pemasarannya', '▁agar', '▁semua', '▁acara', '▁ini', '▁layak', '▁jual', '▁untuk', '▁wisatawan', ',', '▁\"', '▁ujarnya', '.', '▁sementara', '▁hari', 'yanto', '▁dalam', '▁kesempatan', '▁itu', '▁menyampaikan', '▁materi', '▁tentang', '▁pengembangan', '▁sdm', '▁sektor', '▁pariwisata', '▁dan', '▁pengemasan', '▁serta', '▁pemasaran', '▁satu', '▁acara', '.', '▁dalam', '▁pap', 'aranya', '▁ia', '▁menjelaskan', ',', '▁bahwa', '▁bimtek', '▁penting', '▁untuk', '▁meningkatkan', '▁kompetensi', '▁sdm', '▁kepariwisataan', '▁sehingga', '▁mampu', '▁berperan', '▁dalam', '▁peningkatan', '▁pembangunan', '▁kepariwisataan', '.', '▁selain', '▁itu', '▁ia', '▁menegaskan', '▁bahwa', '▁dalam', '▁pengembangan', '▁pariwisata', ',', '▁promosi', '▁juga', '▁hal', '▁yang', '▁harus', '▁diperhatikan', '.', '▁misalnya', '▁penekanan', '▁pada', '▁mekanisme', '▁promosi', '▁pariwisata', '▁secara', '▁digital', '▁atau', '▁daring', ',', '▁penyelenggaraan', '▁acara', '▁juga', '▁harus', '▁terk', 'urasi', '▁dengan', '▁baik', '▁sehingga', '▁memiliki', '▁daya', '▁tarik', '▁yang', '▁kuat', '.', '▁\"', '▁bagaimana', '▁juga', '▁meningkatkan', '▁efektivitas', '▁partisipasi', '▁dinas', '▁pariwisata', '▁pada', '▁penyelenggaraan', '▁acara', '▁dan', '▁bagaimana', '▁cara', '▁memasarkan', '▁dan', '▁mempromosikan', '▁agar', '▁bisa', '▁dikenal', '▁dan', '▁menjadi', '▁daya', '▁tarik', '▁wisatawan', ',', '▁”', '▁terang', '▁hari', 'yanto', '.', '▁deputi', '▁pengembangan', '▁pemasaran', '▁pariwisata', '▁nusantara', ',', '▁est', 'hy', '▁rek', 'o', '▁ast', 'uti', '▁mengatakan', ',', '▁bimtek', '▁kali', '▁ini', '▁juga', '▁bertujuan', '▁memberi', '▁perspektif', '▁dan', '▁arah', '▁yang', '▁sama', '▁tentang', '▁program', '▁promosi', '▁pariwisata', '▁di', '▁bengkulu', '.', '▁\"', '▁selain', '▁itu', '▁juga', '▁untuk', '▁memahami', '▁potensi', '▁destinasi', '▁-', '▁destinasi', '▁wisata', '▁di', '▁bengkulu', ',', '▁\"', '▁ujar', '▁est', 'hy', '.', '▁menteri', '▁pariwisata', '▁arief', '▁yahya', '▁mengapresiasi', '▁kegiatan', '▁bimtek', '▁sebagai', '▁salah', '▁satu', '▁upaya', '▁dan', '▁komitmen', '▁dari', '▁pemerintah', '▁provinsi', '▁bengkulu', '▁dalam', '▁mewujudkan', '▁pariwisata', '▁sebagai', '▁salah', '▁satu', '▁sektor', '▁utama', '.', '▁ia', '▁pun', '▁berkomitmen', '▁akan', '▁mendung', '▁pen', 'prov', '▁dalam', '▁mewujudkan', '▁\"', '▁visit', '▁2020', '▁wonderful', '▁bengkulu', '▁\".', '▁\"', '▁obyek', '▁wisata', '▁andalan', '▁bengkulu', ',', '▁benteng', '▁mar', 'lb', 'oro', 'ugh', ',', '▁rumah', '▁bung', '▁karno', ',', '▁pantai', '▁panjang', '▁yang', '▁memiliki', '▁pasir', '▁putih', '▁yang', '▁indah', '▁dan', '▁bersih', '.', '▁semuanya', '▁world', '▁class', ',', '▁ditambah', '▁dengan', '▁puluhan', '▁atraksi', '▁didalamnya', ',', '▁tinggal', '▁kita', '▁akan', '▁dukung', '▁dan', '▁promosikan', \"'\", '▁bengkulu', '▁visit', \"'\", '▁sehingga', '▁lebih', '▁mendunia', ',', '▁\"', '▁kata', '▁arief', '▁(', 'syah', 'b', ')']\n",
      "tokenized: 39942 639 1303 1191 507 607 838 646 887 690 2854 39942 1105 39956 25846 639 292 292 3045 5420 2440 2893 1051 9232 1273 7312 5243 327 39950 364 10857 39965 8101 38274 420 524 499 4260 536 25698 8215 39668 2893 2763 1273 295 3058 427 909 1025 814 3896 4163 544 547 852 388 2982 1370 2440 2893 420 2605 547 29044 1273 427 909 292 814 3896 426 450 16650 39955 559 39946 493 3122 5238 5420 5847 39956 20068 1802 3000 5238 5420 5847 699 9213 825 5761 388 20068 1802 3000 16899 4836 5420 39956 21976 13339 39955 1560 3045 5420 2440 2893 24530 15846 1418 39956 1273 31638 5057 5234 2061 295 2335 388 13908 1370 2440 39956 15743 434 508 781 39956 1845 3946 1445 825 1630 2246 4327 5420 277 2893 39955 536 1273 361 8665 365 932 27907 843 2061 277 1802 38274 39956 536 2804 24530 15846 39955 736 1418 39956 10766 694 5465 5420 547 690 563 4327 295 440 5190 309 440 526 4327 8752 420 1777 3197 2093 1211 825 956 39955 552 426 39956 1470 24530 39956 410 4574 388 3114 5420 277 2893 295 735 607 6279 1042 295 2292 825 2274 295 1043 39955 536 500 426 1178 10766 694 5465 1375 39985 25698 8215 39668 2893 536 295 440 526 1544 735 5420 2893 39955 690 563 3853 6899 450 2982 2401 8101 5420 295 18862 295 440 15744 1094 31638 361 39956 536 2804 24530 39955 1000 426 39956 420 8137 1131 39985 25698 8215 39668 2893 39985 39956 10766 468 694 5580 6321 1720 295 440 6549 420 563 574 304 1539 295 4941 5508 3114 3081 304 1645 929 39955 536 690 563 295 6625 675 735 450 32788 2893 295 440 3525 5308 1042 2212 2893 295 9374 1078 354 16341 12038 39956 536 944 584 39955 5825 905 1821 6950 1846 433 2637 5320 295 1118 22267 5443 5577 3764 879 574 825 6950 2314 28490 39948 626 39955 536 707 1273 361 603 346 35645 314 39956 12779 8101 309 1189 3740 34941 888 707 1720 361 3336 1745 365 3764 39956 536 5170 39955 1665 699 9213 420 2250 426 4093 2238 789 3000 8101 4327 5420 309 31823 825 5238 563 1720 39955 420 1352 2474 736 2856 39956 601 31638 1205 365 1777 5171 8101 38274 842 1409 5453 420 3459 2352 38274 39955 1000 426 736 6829 601 420 3000 5420 39956 3740 468 552 295 603 5350 39955 1780 17098 427 7461 3740 5420 675 3890 470 21616 39956 7081 1720 468 603 918 13250 354 611 842 607 1889 5275 295 1838 39955 536 1189 468 1777 15365 9812 3045 5420 427 7081 1720 309 1189 676 12906 309 9278 888 439 2113 309 526 1889 5275 3764 39956 1680 3909 699 9213 39955 20068 3000 5238 5420 5847 39956 5827 5720 1647 39952 3751 3126 1418 39956 31638 861 361 468 4941 2031 11534 309 2625 295 767 789 1375 3740 5420 277 2893 39955 536 1000 426 468 365 2952 3114 6302 292 6302 1445 277 2893 39956 536 2804 5827 5720 39955 3341 5420 15910 17378 16604 1273 31638 547 690 563 2982 309 6653 388 1370 2440 2893 420 6597 5420 547 690 563 4327 1569 39955 736 748 14405 440 24442 316 9430 420 6597 536 25698 8215 39668 2893 2763 536 6192 1445 8797 2893 39956 7552 854 25455 2325 10149 39956 775 3448 13155 39956 2327 1778 295 607 4759 2074 295 2292 309 2527 39955 2381 5572 10775 39956 3034 354 5763 16122 7134 39956 1623 489 440 10199 309 31172 39985 2893 25698 39985 842 505 23134 39956 536 944 15910 327 11639 39950 39965\n",
      "\n",
      "raw: <tag> indonesia jakarta orang negara anak salah pemerintah cnn rp presiden<tag> merdeka.com - indonesia corruption watch (icw) meminta komisi pemberantas korupsi (kpk) ikut memantau perkembangan atas meninggalnya saksi kunci kasus mega korupsi e - ktp, johannes marliem. peneliti icw divisi hukum dan monitoring peradila, aradila caesar mengatakan momentum meninggalnya saksi kunci tersebut menimbulkan kejanggalan dan tanda tanya besar. \" orang meninggal kita kan tidak bisa prediksi itu bukan kuasa kita. tapi kalau kita melihat momentum kan ada suatu kejanggalan. kenapa momentum meninggalnya, saat kasus e - ktp sedang ditangani oleh kpk, \" katanya seusai konferensi pers di kantor sekeretariatan icw, jakarta, minggu(13 / 8). pihak icw meminta kpk turut menyelidiki kematian saksi kunci ini dan menjelaskan kepada masyarakat apakah ada keterkaitan dengan permasalahan korupsi e - ktp atau hal-hal lain dibalik kematian johannes. \" kita minta kpk dan juga bekerja sama dengan pihak otoritas untuk menyelidiki kematian dari saksi kunci tersebut dengan serius. artinya nanti kpk harus bisa menjelaskan kepada publik kenapa kematiannya, \" pintanya. icw berharap dengan kematian saksi kunci, tidak membuat efek negatif untuk permasalahan kasus e - ktp ini. \" jangan sampai kematiannya berdampak negatif dalam konteks membongkar kasus e - ktp tersebut, \" pungkasnya. [ded]\n",
      "token:  ['<tag>', '▁indonesia', '▁jakarta', '▁orang', '▁negara', '▁anak', '▁salah', '▁pemerintah', '▁cnn', '▁rp', '▁presiden', '<tag>', '▁merdeka', '.', 'com', '▁-', '▁indonesia', '▁corrup', 'tion', '▁watch', '▁(', 'ic', 'w', ')', '▁meminta', '▁komisi', '▁pember', 'antas', '▁korupsi', '▁(', 'kp', 'k', ')', '▁ikut', '▁memantau', '▁perkembangan', '▁atas', '▁meninggalnya', '▁saksi', '▁kunci', '▁kasus', '▁mega', '▁korupsi', '▁e', '▁-', '▁ktp', ',', '▁johannes', '▁mar', 'li', 'em', '.', '▁peneliti', '▁ic', 'w', '▁divisi', '▁hukum', '▁dan', '▁monitoring', '▁per', 'adi', 'la', ',', '▁ar', 'adi', 'la', '▁caesar', '▁mengatakan', '▁momentum', '▁meninggalnya', '▁saksi', '▁kunci', '▁tersebut', '▁menimbulkan', '▁kejanggalan', '▁dan', '▁tanda', '▁tanya', '▁besar', '.', '▁\"', '▁orang', '▁meninggal', '▁kita', '▁kan', '▁tidak', '▁bisa', '▁prediksi', '▁itu', '▁bukan', '▁kuasa', '▁kita', '.', '▁tapi', '▁kalau', '▁kita', '▁melihat', '▁momentum', '▁kan', '▁ada', '▁suatu', '▁kejanggalan', '.', '▁kenapa', '▁momentum', '▁meninggalnya', ',', '▁saat', '▁kasus', '▁e', '▁-', '▁ktp', '▁sedang', '▁ditangani', '▁oleh', '▁kpk', ',', '▁\"', '▁katanya', '▁seusai', '▁konferensi', '▁pers', '▁di', '▁kantor', '▁sek', 'eret', 'ari', 'atan', '▁ic', 'w', ',', '▁jakarta', ',', '▁minggu', '(', '13', '▁/', '▁8', ').', '▁pihak', '▁ic', 'w', '▁meminta', '▁kpk', '▁turut', '▁menyelidiki', '▁kematian', '▁saksi', '▁kunci', '▁ini', '▁dan', '▁menjelaskan', '▁kepada', '▁masyarakat', '▁apakah', '▁ada', '▁keterkaitan', '▁dengan', '▁permasalahan', '▁korupsi', '▁e', '▁-', '▁ktp', '▁atau', '▁hal', '-', 'hal', '▁lain', '▁dibalik', '▁kematian', '▁johannes', '.', '▁\"', '▁kita', '▁minta', '▁kpk', '▁dan', '▁juga', '▁bekerja', '▁sama', '▁dengan', '▁pihak', '▁otoritas', '▁untuk', '▁menyelidiki', '▁kematian', '▁dari', '▁saksi', '▁kunci', '▁tersebut', '▁dengan', '▁serius', '.', '▁artinya', '▁nanti', '▁kpk', '▁harus', '▁bisa', '▁menjelaskan', '▁kepada', '▁publik', '▁kenapa', '▁kematiannya', ',', '▁\"', '▁pint', 'anya', '.', '▁ic', 'w', '▁berharap', '▁dengan', '▁kematian', '▁saksi', '▁kunci', ',', '▁tidak', '▁membuat', '▁efek', '▁negatif', '▁untuk', '▁permasalahan', '▁kasus', '▁e', '▁-', '▁ktp', '▁ini', '.', '▁\"', '▁jangan', '▁sampai', '▁kematiannya', '▁berdampak', '▁negatif', '▁dalam', '▁konteks', '▁membongkar', '▁kasus', '▁e', '▁-', '▁ktp', '▁tersebut', ',', '▁\"', '▁pungkasnya', '.', '▁[', 'd', 'ed', ']']\n",
      "tokenized: 39942 639 1105 507 992 646 690 1370 25846 1142 2304 39942 7878 39955 8046 292 639 37108 2573 15029 327 702 39961 39965 2716 4364 2072 11387 5094 327 11006 39943 39965 2169 11801 2287 818 24790 6002 3238 2054 5941 5094 619 292 8204 39956 32570 854 804 283 39955 5663 6272 39961 7352 1432 309 17266 340 413 274 39956 588 413 274 18746 1418 12979 24790 6002 3238 544 3610 30384 309 2312 3465 735 39955 536 507 2184 489 957 410 439 4209 426 832 7361 489 39955 722 881 489 1048 12979 957 387 1073 30384 39955 2185 12979 24790 39956 580 2054 619 292 8204 1135 9218 515 6385 39956 536 2739 18994 9810 935 277 2084 482 15482 336 453 6272 39961 39956 1105 39956 2129 39966 6442 508 909 6758 1630 6272 39961 2716 6385 4714 16668 3911 6002 3238 361 309 2856 843 956 1284 387 18340 354 4080 5094 619 292 8204 470 552 39962 10132 540 9906 3911 32570 39955 536 489 3317 6385 309 468 1556 767 354 1630 9952 365 16668 3911 388 6002 3238 544 354 3980 39955 2576 2232 6385 603 439 2856 843 3501 2185 18237 39956 536 4541 416 39955 6272 39961 3040 354 3911 6002 3238 39956 410 679 1667 4565 365 4080 2054 619 292 8204 361 39955 536 1063 810 18237 7453 4565 420 7028 18098 2054 619 292 8204 544 39956 536 12286 39955 1315 39946 330 39988\n",
      "\n",
      "raw: <tag> jakarta kpk indonesia rp ketua jalan partai tersangka persen pemerintah<tag> merdeka.com - presiden joko widodo (jokowi) memimpin upacara penurunan bendera di halaman istana merdeka, jakarta. usai prosesi penurunan bendera dilakukan, jokowi kembali bagi-bagi sepeda kepada tamu undangan yang mengenakan pakaian adat terbaik. berbeda dengan saat upacara pengibaran bendera, bagi-bagi sepeda kali ini diumumkan oleh wakil presiden jusuf kalla (jk). hal berbeda juga terjadi bagi mereka yang menerima. apabila sepeda diberikan ke pejabat negara mau pun keluarga, kali ini sepeda diberikan kepada masyarakat biasa. \" seperti tadi pagi, sore ini juga panitia membentuk tim penilai untuk menilai siapa yang berbusana tradisional adat - adat daerah yang paling baik sore ini, \" kata jk. kelima penerima sepeda di antaranya, frans maksim yang merupakan kepala suku arfak, papua, ratna dewi budiono yang mengenakan pakaian adat dayak, yusak rumambi yang mengenakan pakaian adat sulawesi utara, teuku johan marzuki yang mengenakan pakaian adat aceh. terakhir, ada sumahartarti yang mengenakan pakaian adat asal bengkulu. \" silakan semua datang ke panggung. mendapat sepeda dari bapak presiden bisa langsung dipakai keliling - keliling nanti, \" ujarnya. pada upacara pengibaran bendera, lima orang menggunakan pakaian adat terbaik, yakni menteri hukum dan hak asasi manusia (menkum ham) yasonna hamonangan laoly dengan pakaian adat nias, ketua dpd ri oesman sapta odang yang menggunakan pakaian adat minang, dan asisten ajudan presiden syarif muhammad fidriansyah dengan pakaian adat dayak, kalimantan barat. dua orang lainnya adalah istri kapolri jenderal pol tito karnavian, tri suswati yang mengenakan pakaian adat papua, dan istri wakil ketua mpr mahyudin, agati suli menggunakan baju adat dayak. [bal]\n",
      "token:  ['<tag>', '▁jakarta', '▁kpk', '▁indonesia', '▁rp', '▁ketua', '▁jalan', '▁partai', '▁tersangka', '▁persen', '▁pemerintah', '<tag>', '▁merdeka', '.', 'com', '▁-', '▁presiden', '▁joko', '▁widodo', '▁(', 'jok', 'owi', ')', '▁memimpin', '▁upacara', '▁penurunan', '▁bendera', '▁di', '▁halaman', '▁istana', '▁merdeka', ',', '▁jakarta', '.', '▁usai', '▁prosesi', '▁penurunan', '▁bendera', '▁dilakukan', ',', '▁jokowi', '▁kembali', '▁bagi', '-', 'bagi', '▁sepeda', '▁kepada', '▁tamu', '▁undangan', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁terbaik', '.', '▁berbeda', '▁dengan', '▁saat', '▁upacara', '▁peng', 'ib', 'aran', '▁bendera', ',', '▁bagi', '-', 'bagi', '▁sepeda', '▁kali', '▁ini', '▁diumumkan', '▁oleh', '▁wakil', '▁presiden', '▁jusuf', '▁kalla', '▁(', 'jk', ').', '▁hal', '▁berbeda', '▁juga', '▁terjadi', '▁bagi', '▁mereka', '▁yang', '▁menerima', '.', '▁apabila', '▁sepeda', '▁diberikan', '▁ke', '▁pejabat', '▁negara', '▁mau', '▁pun', '▁keluarga', ',', '▁kali', '▁ini', '▁sepeda', '▁diberikan', '▁kepada', '▁masyarakat', '▁biasa', '.', '▁\"', '▁seperti', '▁tadi', '▁pagi', ',', '▁sore', '▁ini', '▁juga', '▁panitia', '▁membentuk', '▁tim', '▁penilai', '▁untuk', '▁menilai', '▁siapa', '▁yang', '▁berbusana', '▁tradisional', '▁adat', '▁-', '▁adat', '▁daerah', '▁yang', '▁paling', '▁baik', '▁sore', '▁ini', ',', '▁\"', '▁kata', '▁jk', '.', '▁kelima', '▁penerima', '▁sepeda', '▁di', '▁antaranya', ',', '▁frans', '▁maksim', '▁yang', '▁merupakan', '▁kepala', '▁suku', '▁ar', 'fak', ',', '▁papua', ',', '▁ratna', '▁dewi', '▁budi', 'ono', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁dayak', ',', '▁y', 'usak', '▁rum', 'ambi', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁sulawesi', '▁utara', ',', '▁teuku', '▁johan', '▁marzuki', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁aceh', '.', '▁terakhir', ',', '▁ada', '▁sum', 'ahar', 'tar', 'ti', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁asal', '▁bengkulu', '.', '▁\"', '▁silakan', '▁semua', '▁datang', '▁ke', '▁panggung', '.', '▁mendapat', '▁sepeda', '▁dari', '▁bapak', '▁presiden', '▁bisa', '▁langsung', '▁dipakai', '▁keliling', '▁-', '▁keliling', '▁nanti', ',', '▁\"', '▁ujarnya', '.', '▁pada', '▁upacara', '▁peng', 'ib', 'aran', '▁bendera', ',', '▁lima', '▁orang', '▁menggunakan', '▁pakaian', '▁adat', '▁terbaik', ',', '▁yakni', '▁menteri', '▁hukum', '▁dan', '▁hak', '▁asasi', '▁manusia', '▁(', 'men', 'kum', '▁ham', ')', '▁y', 'ason', 'na', '▁ham', 'on', 'angan', '▁la', 'oly', '▁dengan', '▁pakaian', '▁adat', '▁nias', ',', '▁ketua', '▁dpd', '▁ri', '▁o', 'es', 'man', '▁sapta', '▁od', 'ang', '▁yang', '▁menggunakan', '▁pakaian', '▁adat', '▁minang', ',', '▁dan', '▁asisten', '▁aju', 'dan', '▁presiden', '▁syarif', '▁muhammad', '▁fid', 'ri', 'ansyah', '▁dengan', '▁pakaian', '▁adat', '▁dayak', ',', '▁kalimantan', '▁barat', '.', '▁dua', '▁orang', '▁lainnya', '▁adalah', '▁istri', '▁kapolri', '▁jenderal', '▁pol', '▁tito', '▁karna', 'vian', ',', '▁tri', '▁sus', 'wati', '▁yang', '▁mengenakan', '▁pakaian', '▁adat', '▁papua', ',', '▁dan', '▁istri', '▁wakil', '▁ketua', '▁mpr', '▁mah', 'y', 'udin', ',', '▁ag', 'ati', '▁s', 'uli', '▁menggunakan', '▁baju', '▁adat', '▁dayak', '.', '▁[', 'bal', ']']\n",
      "tokenized: 39942 1105 6385 639 1142 2478 366 2805 6599 3171 1370 39942 7878 39955 8046 292 2304 8247 9828 327 10154 4419 39965 6528 5658 4829 8235 277 2735 6540 7878 39956 1105 39955 6515 19265 4829 8235 870 39956 4773 1051 568 39962 19847 4010 843 3225 4980 295 6746 3073 4970 1206 39955 1395 354 580 5658 487 1387 501 8235 39956 568 39962 19847 4010 861 361 10917 515 3169 2304 19679 19755 327 10905 6758 552 1395 468 928 568 551 295 2140 39955 1872 4010 2006 304 4838 992 1044 748 1480 39956 861 361 4010 2006 843 956 1386 39955 536 582 2698 2393 39956 4265 361 468 5754 3634 651 25190 365 5377 1694 295 30978 3435 4970 292 4970 1211 295 975 611 4265 361 39956 536 944 7750 39955 8792 3961 4010 277 6042 39956 16744 34782 295 783 1560 3540 588 8121 39956 1619 39956 18555 5976 5656 2339 295 6746 3073 4970 15038 39956 289 2704 714 3427 295 6746 3073 4970 1080 1003 39956 27094 14323 30990 295 6746 3073 4970 1416 39955 1932 39956 387 700 13783 769 385 295 6746 3073 4970 2146 2893 39955 536 5010 707 1321 304 7300 39955 817 4010 388 3105 2304 439 1078 2904 9551 292 9551 2232 39956 536 5170 39955 427 5658 487 1387 501 8235 39956 2402 507 774 3073 4970 1206 39956 1929 3341 1432 309 1758 12165 1130 327 2244 16343 2019 39965 289 13561 593 2019 307 335 386 32901 354 3073 4970 5186 39956 2478 11434 859 486 318 760 28589 7937 268 295 774 3073 4970 19938 39956 309 9758 36451 5419 2304 17721 3889 20225 315 23825 354 3073 4970 15038 39956 1146 858 39955 948 507 905 450 2831 17885 5780 1009 25162 5283 24592 39956 1972 1614 6668 295 6746 3073 4970 1619 39956 309 2831 3169 2478 11160 968 39953 9446 39956 592 517 264 1287 774 2820 4970 15038 39955 1315 1933 39988\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Prepare and tokenize dataset\n",
    "def preprocess_function(examples):\n",
    "    model_inputs = tokenizer(examples[\"document\"], max_length=768, truncation=True)\n",
    "\n",
    "    labels = tokenizer(text_target=examples[\"summary\"], max_length=128, truncation=True)\n",
    "\n",
    "    model_inputs[\"labels\"] = labels[\"input_ids\"]\n",
    "    return model_inputs\n",
    "\n",
    "\n",
    "tokenized_ds = ds.map(preprocess_function, batched=True)\n",
    "\n",
    "# example first 5 data\n",
    "for i in range(5):\n",
    "    print(\"raw: \" + tokenizer.decode(tokenized_ds[\"train\"][i][\"input_ids\"]))\n",
    "    print(\"token: \", tokenizer.convert_ids_to_tokens(tokenized_ds[\"train\"][i][\"input_ids\"]))\n",
    "    print(\"tokenized: \" + \" \".join(map(str, tokenized_ds[\"train\"][i][\"input_ids\"])))\n",
    "    print(\"\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using auto half precision backend\n"
     ]
    }
   ],
   "source": [
    "# Setup evaluation\n",
    "nltk.download(\"punkt_tab\", quiet=True)\n",
    "metric = evaluate.load(\"rouge\")\n",
    "\n",
    "def compute_metrics(eval_preds):\n",
    "    preds, labels = eval_preds\n",
    "\n",
    "    # decode preds and labels\n",
    "    labels = np.where(labels != -100, labels, tokenizer.pad_token_id)\n",
    "    decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=True)\n",
    "    decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)\n",
    "\n",
    "    # rougeLSum expects newline after each sentence\n",
    "    decoded_preds = [\n",
    "        \"\\n\".join(nltk.sent_tokenize(pred.strip())) for pred in decoded_preds\n",
    "    ]\n",
    "    decoded_labels = [\n",
    "        \"\\n\".join(nltk.sent_tokenize(label.strip())) for label in decoded_labels\n",
    "    ]\n",
    "\n",
    "    result = metric.compute(\n",
    "        predictions=decoded_preds,\n",
    "        references=decoded_labels,\n",
    "        # use_stemmer=True\n",
    "    )\n",
    "    return result\n",
    "\n",
    "\n",
    "# Load pretrained model and evaluate model after each epoch\n",
    "data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=model)\n",
    "\n",
    "output_dir = f\"{benc_dir}/models\"\n",
    "\n",
    "per_device_batch_size = 8  # 8 for low hardware spec\n",
    "\n",
    "training_args = Seq2SeqTrainingArguments(\n",
    "    output_dir=output_dir,\n",
    "    # overwrite_output_dir=True,\n",
    "    eval_strategy=\"epoch\",\n",
    "    save_strategy=\"epoch\",\n",
    "    learning_rate=3.75e-5,  # hf example: 2e-5\n",
    "    per_device_train_batch_size=per_device_batch_size,\n",
    "    per_device_eval_batch_size=per_device_batch_size,\n",
    "    weight_decay=0.01,\n",
    "    # save_steps=1000,\n",
    "    save_total_limit=1,\n",
    "    num_train_epochs=3,  # hf example: 2\n",
    "    fp16=True,  # comment this if using mps/apple sillicon chip (not supported)\n",
    "    predict_with_generate=True,\n",
    "    generation_max_length=80,\n",
    "    log_level=\"info\",\n",
    "    logging_first_step=True,\n",
    "    resume_from_checkpoint=True,\n",
    "    load_best_model_at_end=True,\n",
    ")\n",
    "\n",
    "trainer = Seq2SeqTrainer(\n",
    "    model=model,\n",
    "    args=training_args,\n",
    "    train_dataset=tokenized_ds[\"train\"],\n",
    "    eval_dataset=tokenized_ds[\"validation\"],\n",
    "    processing_class=tokenizer,  # FutureWarning: `tokenizer` is deprecated and will be removed in version 5.0.0 for `Seq2SeqTrainer.__init__`.\n",
    "    data_collator=data_collator,\n",
    "    compute_metrics=compute_metrics,\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "The following columns in the training set don't have a corresponding argument in `MBartForConditionalGeneration.forward` and have been ignored: id, summary, document. If id, summary, document are not expected by `MBartForConditionalGeneration.forward`,  you can safely ignore this message.\n",
      "***** Running training *****\n",
      "  Num examples = 14,262\n",
      "  Num Epochs = 3\n",
      "  Instantaneous batch size per device = 8\n",
      "  Total train batch size (w. parallel, distributed & accumulation) = 8\n",
      "  Gradient Accumulation steps = 1\n",
      "  Total optimization steps = 5,349\n",
      "  Number of trainable parameters = 131,543,040\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "\n",
       "    <div>\n",
       "      \n",
       "      <progress value='5349' max='5349' style='width:300px; height:20px; vertical-align: middle;'></progress>\n",
       "      [5349/5349 20:37, Epoch 3/3]\n",
       "    </div>\n",
       "    <table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       " <tr style=\"text-align: left;\">\n",
       "      <th>Epoch</th>\n",
       "      <th>Training Loss</th>\n",
       "      <th>Validation Loss</th>\n",
       "      <th>Rouge1</th>\n",
       "      <th>Rouge2</th>\n",
       "      <th>Rougel</th>\n",
       "      <th>Rougelsum</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>0.546500</td>\n",
       "      <td>0.529229</td>\n",
       "      <td>0.671123</td>\n",
       "      <td>0.587862</td>\n",
       "      <td>0.632159</td>\n",
       "      <td>0.661406</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>0.417900</td>\n",
       "      <td>0.519684</td>\n",
       "      <td>0.670467</td>\n",
       "      <td>0.586302</td>\n",
       "      <td>0.629776</td>\n",
       "      <td>0.660225</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>0.330800</td>\n",
       "      <td>0.524462</td>\n",
       "      <td>0.660816</td>\n",
       "      <td>0.575933</td>\n",
       "      <td>0.619080</td>\n",
       "      <td>0.651447</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table><p>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "The following columns in the evaluation set don't have a corresponding argument in `MBartForConditionalGeneration.forward` and have been ignored: id, summary, document. If id, summary, document are not expected by `MBartForConditionalGeneration.forward`,  you can safely ignore this message.\n",
      "\n",
      "***** Running Evaluation *****\n",
      "  Num examples = 750\n",
      "  Batch size = 8\n",
      "Generate config GenerationConfig {\n",
      "  \"bos_token_id\": 0,\n",
      "  \"decoder_start_token_id\": 2,\n",
      "  \"early_stopping\": true,\n",
      "  \"eos_token_id\": 2,\n",
      "  \"forced_eos_token_id\": 2,\n",
      "  \"no_repeat_ngram_size\": 3,\n",
      "  \"num_beams\": 4,\n",
      "  \"pad_token_id\": 1\n",
      "}\n",
      "\n",
      "Saving model checkpoint to result/01-indobart-bertopic/benc//models/checkpoint-1783\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-1783/config.json\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-1783/generation_config.json\n",
      "Model weights saved in result/01-indobart-bertopic/benc//models/checkpoint-1783/model.safetensors\n",
      "tokenizer config file saved in result/01-indobart-bertopic/benc//models/checkpoint-1783/tokenizer_config.json\n",
      "Special tokens file saved in result/01-indobart-bertopic/benc//models/checkpoint-1783/special_tokens_map.json\n",
      "The following columns in the evaluation set don't have a corresponding argument in `MBartForConditionalGeneration.forward` and have been ignored: id, summary, document. If id, summary, document are not expected by `MBartForConditionalGeneration.forward`,  you can safely ignore this message.\n",
      "\n",
      "***** Running Evaluation *****\n",
      "  Num examples = 750\n",
      "  Batch size = 8\n",
      "Saving model checkpoint to result/01-indobart-bertopic/benc//models/checkpoint-3566\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-3566/config.json\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-3566/generation_config.json\n",
      "Model weights saved in result/01-indobart-bertopic/benc//models/checkpoint-3566/model.safetensors\n",
      "tokenizer config file saved in result/01-indobart-bertopic/benc//models/checkpoint-3566/tokenizer_config.json\n",
      "Special tokens file saved in result/01-indobart-bertopic/benc//models/checkpoint-3566/special_tokens_map.json\n",
      "Saving model checkpoint to result/01-indobart-bertopic/benc//models/checkpoint-5349\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/config.json\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/generation_config.json\n",
      "Model weights saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/model.safetensors\n",
      "tokenizer config file saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/tokenizer_config.json\n",
      "Special tokens file saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/special_tokens_map.json\n",
      "Deleting older checkpoint [result/01-indobart-bertopic/benc/models/checkpoint-1783] due to args.save_total_limit\n",
      "The following columns in the evaluation set don't have a corresponding argument in `MBartForConditionalGeneration.forward` and have been ignored: id, summary, document. If id, summary, document are not expected by `MBartForConditionalGeneration.forward`,  you can safely ignore this message.\n",
      "\n",
      "***** Running Evaluation *****\n",
      "  Num examples = 750\n",
      "  Batch size = 8\n",
      "Saving model checkpoint to result/01-indobart-bertopic/benc//models/checkpoint-5349\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/config.json\n",
      "Configuration saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/generation_config.json\n",
      "Model weights saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/model.safetensors\n",
      "tokenizer config file saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/tokenizer_config.json\n",
      "Special tokens file saved in result/01-indobart-bertopic/benc//models/checkpoint-5349/special_tokens_map.json\n",
      "\n",
      "\n",
      "Training completed. Do not forget to share your model on huggingface.co/models =)\n",
      "\n",
      "\n",
      "Loading best model from result/01-indobart-bertopic/benc//models/checkpoint-3566 (score: 0.5196837782859802).\n",
      "There were missing keys in the checkpoint model loaded: ['model.encoder.embed_tokens.weight', 'model.decoder.embed_tokens.weight', 'lm_head.weight'].\n",
      "Deleting older checkpoint [result/01-indobart-bertopic/benc/models/checkpoint-5349] due to args.save_total_limit\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "TrainOutput(global_step=5349, training_loss=0.45253418610238166, metrics={'train_runtime': 1237.9673, 'train_samples_per_second': 34.561, 'train_steps_per_second': 4.321, 'total_flos': 1.5810791426408448e+16, 'train_loss': 0.45253418610238166, 'epoch': 3.0})"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "trainer.train()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Predict Test Data and evaluate the score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "The following columns in the test set don't have a corresponding argument in `MBartForConditionalGeneration.forward` and have been ignored: id, summary, document. If id, summary, document are not expected by `MBartForConditionalGeneration.forward`,  you can safely ignore this message.\n",
      "\n",
      "***** Running Prediction *****\n",
      "  Num examples = 3762\n",
      "  Batch size = 8\n"
     ]
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ROUGE scores on the test set: {\n",
      "    \"rouge1\": 0.6593649521364823,\n",
      "    \"rouge2\": 0.5761014728257483,\n",
      "    \"rougeL\": 0.6192756743911401,\n",
      "    \"rougeLsum\": 0.6499022765954584\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "# Generate predictions\n",
    "test_predictions = trainer.predict(tokenized_ds[\"test\"])\n",
    "\n",
    "# Get the predictions and labels from the result\n",
    "preds = test_predictions.predictions\n",
    "labels = test_predictions.label_ids\n",
    "\n",
    "# Evaluate using the compute_metrics function\n",
    "rouge_scores = compute_metrics((preds, labels))\n",
    "\n",
    "# Print the ROUGE scores\n",
    "print(\"ROUGE scores on the test set:\", json.dumps(rouge_scores, indent=4))\n",
    "\n",
    "# save the results to a file 'rouge_scores.txt'\n",
    "with open(os.path.join(benc_dir, \"rouge_scores.txt\"), \"w\") as f:\n",
    "    f.write(str(rouge_scores))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Pipeline summary"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "vscode": {
     "languageId": "ruby"
    }
   },
   "outputs": [],
   "source": [
    "# get device\n",
    "summarizer = pipeline(\"summarization\", model=model, tokenizer=tokenizer, device=device)\n",
    "\n",
    "# # create table to show the result: document, summary, generated_summary\n",
    "# df = pd.DataFrame(columns=['document', 'summary', 'generated_summary'])\n",
    "# for i in range(100):\n",
    "#     document = ds['test'][i]['document']\n",
    "#     summary = ds['test'][i]['summary']\n",
    "#     generated_summary = summarizer(document, min_length=5, max_length=80)\n",
    "#     df = pd.concat([df, pd.DataFrame([[document, summary, generated_summary[0]['summary_text']]], columns=['document', 'summary', 'generated_summary'])], ignore_index=True)\n",
    "\n",
    "\n",
    "# # Save the DataFrame to a CSV file\n",
    "# df.to_csv(f'{benc_dir}/summarization_result.csv')\n",
    "# df.to_json(f'{benc_dir}/summarization_result.json')\n",
    "\n",
    "# df.head()\n",
    "\n",
    "# generated_summary = summarizer(ds['test']['document'], min_length=5, max_length=80)\n",
    "\n",
    "\n",
    "\n",
    "# data consists of: document, summary, generated_summary\n",
    "\n",
    "# ds['test'] = ds['test'].map(lambda x: {'document': x['document'], 'summary': x['summary'], 'generated_summary': summarizer(x['document'], min_length=5, max_length=80)[0]['summary_text']})\n",
    "\n",
    "# print(json.dumps(ds['test'], indent=4))\n",
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": ".venv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}