TechTalk

Implementasi Big Data Di Dunia Kesehatan oleh Bpk. Beno K. Pradekso, Dijelaskan di Acara Tech Talk Techinasia di IPB Bogor

Hadir sebagai pembicara pada acara Tech Talk yang dilaksanakan di Institute Pertanian Bogor Kampus Dramaga, diselenggarakan oleh Techinasia, Rabu, 15 Maret 2017 lalu, pakar sekaligus praktisi Big Data, Ir. Beno Kunto Pradekso, M.Sc., seorang lulusan Delft University of Technology – Belanda yang kini menjadi CEO (Chief of Executive Officer) LABS247 yang merupakan perusahan yang bergerak di bidang ICT Company, penyedia teknologi dan solusi penanganan Big Data, sharing dengan para dosen-dosen serta mahasiswa yang notabene adalah mahasiswa tingkat 5-6 dan para IPB Dramaga mengenai implementasi big data di dalam kehidupan nyata.

Dalam pemaparanya, beliau menyampaikan materi mengenai Pemanfaatan Sumber Daya Lokal Big Data Untuk Indonesia dan implementasi Big Data dibidang bioinformatika dan kesehatan – Big Data for Bioinformatic and Healthcare. Ada beberapa case yang beliau share mengenai implementasi big data di bidang kesehatan dan bioinformatika.

“Big Data is not a technology. Big Data is a challenge.” ucapnya. Pria yang sangat menyukai riset ini menjelaskan bahwa big data adalah sebuah tantangan baru dimana hal ini memang harus di kulik lebih dalam lagi agar bisa menjadi manfaat untuk bangsa Indonesia.

sepbigdata_5

Seputar Big Data Edisi #5

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ke dua bulan Februari 2017

Artikel dan berita

  1. A Very Short History of Artificial Intelligence (AI)
    Sejarah singkat mengenai perkembangan kecerdasan buatan (AI) dari masa ke masa
  2. Chicken Wings or Pizza? Adobe Discusses Super Bowl Insights
    Adobe melakukan penggalian dan analisa pada data mobile ads, sentimen sosial media dan transaksi pembelian untuk mendapatkan tren yang terjadi menjelang pertandingan pada Sunday’s Super Bowl antara Atlanta Falcons melawan New England Patriots
  3. 5 Major Big Data Predictions for 2017
    Seputar prediksi area yang akan berkembang dalam penggunaan dan pemanfaatan layanan komputasi awan pada tahun ini 2017.
  4. How to Boost Your Career in Big Data and Analytics
    Saat ini adalah era digital, segala sesuatu dapat menjadi data digital, sehingga peran penting Big Data dan Data Analytics terus meningkat dan tumbuh kedepannya. Ini merupakan kesempatan untuk berkarir di area ini.
  5. How Facebook Is Getting Better at Recognizing Your Photo
    Awal Februari ini Facebook mengupdate fitur pencarian foto menggunakan platform computer vision mereka. Sekarang anda dapat mencari foto di Facebook menggunakan keyword yang mendeskripsikan isi foto.
  6. Big data, financial services and privacy : Should our bankers and insurers be our Facebook friends?
    Bank dan perusahaan asuransi biasanya mendasarkan penilaian mereka pada apa yang dilaporkan oleh customer dan agen mereka. Namun akhir-akhir ini mereka mulai menggunakan sumber-sumber lain yang lebih personal seperti data aplikasi website dan mobile-banking. Bahkan sumber yang tidak konvensional semacam profil media sosial, web browsing, maupun phone location tracker. Dalam sebuah percobaan, FICO, penilai kredit terkemuka di Amerika, menemukan bahwa status Facebook seseorang dapat membantu memprediksi kelayakan kredit seseorang. Saat ini mereka bahkan berusaha mempelajari ekspresi dan nada suara seseorang untuk menentukan resiko kreditnya. Hal ini di samping menjadi peluang, namun juga mengundang beberapa kritik, terutama dari sisi privacy maupun kemungkinan financial exclusion.
  7. How nonprofits use big data to change the world
    Bagaimana organisasi-organisasi nirlaba memanfaatkan data untuk mendukung kegiatan mereka.
  8. Healthcare DATA Integration: The Foundation for Population Health
    Integrasi data dalam pelayanan kesehatan merupakan sebuah hal yang sangat penting, terutama untuk memberikan layanan kesehatan yang terbaik dan terintegrasi untuk masyarakat. Artikel ini membahas mengenai apa saja sumber data yang penting dalam bidang kesehatan, dan apa saja use case yang penting untuk diimplementasikan.

Tutorial dan pengetahuan teknis

  1. Automatically Segmenting Data With Clustering
    Dalam tutorial ini dijelaskan secara singkat mengenai algoritma K-Means Clustering, dan bagaimana mengukur keakuratannya, dan bagaimana memilih segmen yang dihasilkan
  2. You Want Data Science, Now What?
    Langkah-langkah praktis bagi sebuah organisasi yang ingin memulai implementasi data science.
  3. ModernDive: A free introduction to statistics and data science with R
    Sebuah open source textbook mengenai statistik dan data science dalam R. Menjelaskan dengan komprehensif mengenai : menggunakan R untuk mengeksplor dan memvisualisasikan data, menggunakan randomizaation dan simulasi untuk membangun ide inferensial, dan membangun sebuah ‘cerita’ menggunakan ide-ide tersebut dan menampilkannya ke audiens umum. Menariknya, buku ini sendiri ditulis dalam R, menggunakan package bookdown.
  4. 5 Data Science Books You Should Read in 2017
    5 buku yang perlu dibaca untuk anda yang ingin mengenal atau memperdalam pengetahuan dalam bidang data sains dan big data.
  5. Text mining and word cloud fundamentals in R : 5 simple steps you should know
    Metode text mining memungkinkan kita untuk menyoroti kata kunci yang paling sering digunakan dalam sebuah teks. Untuk menampilkannya dapat digunakan word cloud, juga disebut sebagai text cloud atau tag cloud, yang merupakan representasi visual dari data teks. Artikel ini akan menjelaskan langkah demi langkah cara untuk menghasilkan word cloud dengan menggunakan R.
  6. Fueling the Gold Rush: The Greatest Public Datasets for AI
    Saat ini makin mudah bagi kita untuk membangun sebuah sistem berbasis AI atau machine learning, terutama dengan semakin banyaknya open source tools semacam Tensorflow, Torch, Spark, dan lain sebagainya. Faktor lain yang tidak kalah penting dalam pembuatan sistem berbasis AI adalah data. Berikut ini daftar open dataset dalam berbagai format, yang tidak boleh dilewatkan untuk penggiat dan peminat AI.

Rilis produk

  1. Welcome to Apache Zeppelin 0.7.0
    Rilis Apache Zeppelin 0.7.0 dengan beberapa perbaikan dan penambahan fitur, di antaranya adalah peningkatan multi user, pluggable visualisation, peningkatan dukungan untuk Apache Spark dan security.
  2. The Apache Software Foundation Announces Apache® Ranger™ as a Top-Level Project
    Awal Februari ini Apache Foundation mengumumkan bahwa Apache Ranger ‘lulus’ dari status incubating menjadi sebuah top level project (TLP). Apache Ranger menyediakan cara sederhana dan efektif untuk setting access control dan mengaudit akses data di seluruh Hadoop stack. Salah satu manfaat utama dari Ranger adalah bahwa access control policies dapat dikelola oleh security administrator secara konsisten di seluruh ekosistem Hadoop. Dengan arsitektur plugin yang kuat, Ranger juga memungkinkan komunitas untuk menambahkan sistem baru untuk otorisasi bahkan di luar ekosistem Hadoop, dengan effort yang minimal.
  3. Google is Set to Open Source Google Earth Enterprise
    Google mengumumkan bahwa mereka akan segera membuka seluruh core Google Earth Enterprise (GEE) tools mereka menjadi open source. Rencananya langkah ini akan dilakukan pada bulan maret mendatang.
  4. Apache OpenNLP 1.7.2 released
    Rilis Apache OpenNLP versi 1.2.7. Apache OpenNLP library adalah toolkit berbasis machine learning untuk pengolahan teks bahasa alami. Mendukung task NLP yang paling umum, seperti tokenization, segmentasi kalimat, part-of-speech tagging, named entity extraction, chunking, parsing, dan coreference resolution.

Source : Seputar Big Data Edisi #5

sepbigdata_4

Seputar Big Data edisi #4

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama terakhir bulan Januari 2017 dan awal Februari 2017

Artikel dan berita

  1. All You Need To Know About Business Models in Digital Transformation
    Dalam istilah yang sangat sederhana, Model Bisnis adalah bagaimana perencaam kita untuk menghasilkan uang dari bisnis yang kita jalani. Sebuah versi halus adalah bagaimana kita menciptakan dan memberikan nilai kepada pelanggan.
  2. Five Ways Data Analytics Will Storm the Stage in 2017
    Telah menjadi sesuatu yang jelas saat ini, bagaimana analisis data mengarahkan pendapatan di bidang e-commerce. Dan perkembangan ini telah memaksa perusahaan e-tailers dan e-commerce untuk mempekerjakan lebih banyak data scientist dalam rangka untuk lebih memahami bagaimana faktor pelanggan berdampak kepada pendapatan dan penjualan.
  3. Stream Processing Myths Debunked
    Stream processing menjadi bagian yang penting dalam sebuah sistem big data, dan semakin banyak aplikasi dan platform yang mendukungnya. Meskipun demikian, masih banyak miskonsepsi yang terjadi terkait dengan stream processing. Dalam artikel ini para ahli dari data Artisans mengupas dan membongkar 6 mitos dan miskonsepsi mengenai stream processing.
  4. How Madden Got So Good at Predicting Super Bowl Winners
    Bagaimana Madden, sebuah videogame, dapat memanfaatkan data untuk memprediksikan pemenang superbowl, perhelatan olahraga terbesar di Amerika, hingga 9 dari 13 kali.

Tutorial dan pengetahuan teknis

  1. The Top Predictive Analytics Pitfalls to Avoid
    Tidak dapat dipungkiri lagi bahwa predictive modelling dan machine learning memberikan kontribusi signifikan untuk bisnis, namun keduanya sangat sensitif terhadap data dan perubahan di dalamnya, sehingga pemilihan teknik yang tepat dan menghindari kesalahan dan perangkap dalam membangun model data sains. Berikut ini beberapa perangkap utama yang perlu dihindari.
  2. How to set up a Twitter bot using R
    Dalam rangka dirilisnya package R ke 10.000 di CRAN, eoda menjalankan akun Twitter yang otomatis menampilkan jumlah package yang tersedia di CRAN sampai package ke 10 ribu tercapai pada tanggal 28 Januari 2017. Artikel ini menjelaskan mengenai cara set up account Twitter tersebut dengan R script.
  3. Journey Science: Combining 18 Data Sources + 1 Billion Interactions to take UX to The Next Level
    Journey Science, yang menyatukan data dari berbagai aktifitas pelanggan, telah menjadi bagian penting bagi industri telekomunikasi. Data tersebut dapat digunakan untuk meningkatkan customer experience dan retention. Dengan menggunakan insight yang didapat dari customer journey analytics, bisnis telekomunikasi dapat mengukur user experience dengan lebih baik, dan membuat keputusan yang tepat untuk meningkatkannya. Mulai dari melakukan tindakan proaktif untuk kepuasan pelanggan, namun juga untuk memprediksi dan mengantisipasi kegagalan yang mungkin terjadi di masa datang. Berikut ini sekilas mengenai bagaimana memanfaatkan customer journey untuk meningkatkan pelayanan dan kepuasan pelanggan.
  4. Performance comparison of different file formats and storage engines in the Hadoop ecosystem
    CERN telah mempublikasikan perbandingan kinerja Apache Avro, Apache Parquet, Apache HBase dan Apache Kudu. Ujicoba ini untuk mengevaluasi efficiency, ingestion performance, analytic scans and random data lookup pada data layanan CERN Hadoop.
  5. Working with UDFs in Apache Spark
    Dalam tulisan ini, akan dijelaskan contoh yang sederhana pembuatan UDF dan UDAF pada Apache Spark menggunakan Python, Java dan Scala
  6. Perfecting Lambda Architecture with Oracle Data Integrator (and Kafka / MapR Streams)
    Artikel yang menjelaskan konfogurasi pada Oracle Data Integrator menggunakan Apache Kafka/MapR Stream untuk menangkap perubahan yang terjadi pada MySQL.

Rilis produk

  1. Google : Using Machine Learning to predict parking difficulty
    Saat ini sebagian besar waktu mengemudi dihabiskan dalam kemacetan atau berputar-putar mencari tempat parkir. Salah satu tujuan produk-produk semacam Google Maps dan Waze adalah membantu pengguna kendaraan untuk mengemudi dengan lebih mudah dan efisien. Namun sampai saat ini, belum ada tool yang khusus mengatasi permasalahan parkir. Minggu lalu, Google merilis fitur baru untuk Android Google Map, yang menawarkan prediksi kondisi perparkiran di sekitar tempat tujuan anda, sehingga anda dapat mengantisipasinya dengan lebih baik. Fitur ini memanfaatkan kombinasi antara crowdsourcing dan machine learning. Saat ini fitur tersebut baru terdapat di di 25 kota di Amerika Serikat saja.
  2. Apache Atlas 0.7.1-incubating released
    Apache Atlas 0.7.1-incubating telah dirilis. Ada banyak perbaikan bugs dan beberapa peningkatan yang bersifat minor.
  3. Cloudera Enterprise 5.10 is Now Available
    Cloudera telah mengumumkan bahwa Cloudera Enterprise 5.10 telah dirilis dengan support GA untuk Apache Kudu, peningkatan kinerja pada cloud, peningkatan pada pengelolaan data dalam Amazon S3, dan banyak lagi.
  4. Announcing The Latest Hortonworks Data Cloud Release !
    Hortonworks mengumumkan rilis baru dari Hortonworks Data Cloud for AWS. Versi 1.11 ini terus mendorong untuk membuat pengolahan data menjadi mudah dan berbiaya efektif dalam komputasi awan.
  5. Announcing Data Collector ver 2.3.0.0
    StreamSets Data Collector versi 2.3.0.0 telah dirilis. Fokus utama dari rilis kali ini adalah mulithreaded pipelines, dukungan terhadap multitable copy, MongoDB change data capture, and HTTP API untuk Elasticsearch
  6. [ANNOUNCE] Apache Bahir 2.0.2
    Apache Bahir, tools yang menyediakan ekstensi dari Apache Spark, merilis versi 2.0.2

Source : Seputar Big Data edisi #4

sepbigdata_3_1

Seputar Big Data edisi #3

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu ketiga dan keempat bulan Januari 2017.

Artikel dan Berita

  1. Scourge of unsecure database deletions spreading : Hadoop instances deleted with no ransom sought.
    Serangan ransomware yang mulai sejak akhir tahun lalu, dan pada awalnya menimpa MongoDB, kemudian ElasticSearch, minggu lalu kembali meluas. Kali ini melibatkan juga server-server CouchDB dan Hadoop. Berbeda dengan serangan sebelumnya, serangan ke Hadoop cluster ini tidak disertai tuntutan tebusan atau catatan apapun. Ahli security Victor Gevers menyebutkan bahwa insiden ini sepertinya vandalisme. Serangan ini dikhawatirkan masih akan meluas, mengingat sampai tanggal 20 Januari lalu terhitung 34500 MongoDB, 4600 Elasticsearch, dan 126 Hadoop instances dihapus. Kejadian ini adalah akibat dari instalasi database tanpa mengaktifkan security, pada cluster yang terhubung ke internet.
  2. How MTV And Nickelodeon Use Real-Time Big Data Analytics To Improve Customer Experience
    Viacom, pemegang merk-merk ternama seperti Comedy Central, Nickelodeon dan MTV, merupakan salah satu perusahaan media terbesar di dunia, yang menyajikan lebih dari 170 saluran di 160 negara. Untuk dapat bersaing dalam kompetisi global, Viacom berusaha memposisikan diri sebagai perusahaan yang ‘data driven’, dengan memaksimalkan penggunaan data dalam pengambilan keputusan. Dan Morris, direktur senior product analytics Viacom, menguraikan mengenai bagaimana mereka menggabungkan berbagai data yang mereka miliki dengan teknik real-time analytics yang mutakhir, untuk memperbaiki viewer experience dan meningkatkan customer retention.
  3. Using Big Data to predict talent
    Kathleen Yu, salah satu pemenang Mansmith Young Market Masters Awards (YMMA) 2017, akan berbagi pengalaman mengenai bagaimana penggunaan analisa big data bagi sebuah talent management.
  4. 5 Solid Use Cases of IOT Analytics that Makes it Truly Innovative!
    IoT adalah teknologi dimana perangkat terhubung satu sama lainnya, dan dimana data dari semua perangkat ini dikumpulkan untuk suatu kebutuhan. IoT Analytics adalah kunci yang akan membantu untuk memperoleh nilai yang terkandung didalamnya dari data-data yang mengalir setiap harinya.
  5. How These Banking, Energy, and Pharma Firms Use Spark
    Spark merupakan salah satu framework yang banyak diadopsi kalangan industri, dan menjadi salah satu teknologi yang banyak digunakan untuk kebutuhan analytics. Beberapa perusahaan besar yang memanfaatkan Spark adalah perusahaan kartu kredit Capital One, raksasa obat Roche, dan DNV GL, sebuah perusahaan consulting di bidang energi. Berikut ini pengalaman mereka dalam memanfaatkan Spark untuk kebutuhan analytics mereka.
  6. 4 Ways Uber Movement Data Can Be Used
    Awal bulan ini Uber merilis Uber Movement, layanan data yang menyajikan data pergerakan armada Uber. Langkah ini disambut dengan sangat antusias oleh para pengelola kota dan pengambil kebijakan, sebab meskipun dipandang masih sangat terbatas dan teragregasi, data tersebut dapat memberi manfaat pada perencanaan kota. Berikut ini beberapa cara data Uber tersebut dapat dimanfaatkan.
  7. Text analysis of Trump’s tweets confirms he writes only the (angrier) Android half
    David Robinson, data scientist di Stack Overflow menganalisis tweet dari account Donald Trump (@therealdonaldtrump), dan menemukan pola bahwa tweet-tweet tersebut dibuat oleh 2 orang yang berbeda, dengan 2 device berbeda : android dan iphone. Dalam tulisannya David menunjukkan analisis yang dilakukan, lengkap dengan contoh tweet, source code dan library R yang digunakannya.
  8. The State of Big Data 2017
    Di awal tahun 2017 ini banyak artikel yang menulis mengenai perkiraan posisi atau status big data dan teknologinya di tahun 2017 ini. Artikel ini salah satu yang memaparkan beberapa prediksi mengenai perkembangan dan adopsi big data di tahun 2017.

Tutorial dan pengetahuan teknis

  1. 6 areas of AI and Machine Learning to watch closely
    Artificial Intelligence adalah teknologi yang berkembang sangat pesat, dan melibatkan banyak bidang ilmu dalam implementasinya. Artikel ini menjelaskan mengenai definisi umum AI dan apa saja 6 bidang yang perlu kita cermati dalam perkembangan teknologi ini di masa depan.
  2. Great Collection of Minimal and Clean Implementations of Machine Learning Algorithms
    Anda tertarik untuk memahami dan mengimplementasikan sendiri algoritma machine learning? Perlu contoh-contoh untuk mengimplementasikannya? Beberapa alasan mengapa kita mungkin ingin mengimplementasikan sendiri sebuah algoritma adalah : a) memahami cara kerja sebuah algoritma, b) mengimplementasikannya dengan cara yang lebih efisien, c) menambahkan fitur, d) mengatasi isu lisensi maupun platform, e) mengintegrasikan secara lebih ‘natural’ ke dalam software library, dan lain sebagainya. Artikel ini mengumpulkan beberapa algoritma dasar machine learning, yang diimplementasikan secara sederhana dan ‘clean’. Di antaranya adalah: deep learning, regresi, random forest, SVM, k-nearest neighbor, naive bayes, dan k-means clustering.
  3. Exploring Apache Spark 2.1 and Zeppelin in Hortonworks
    Apache Spark 2.1 telah dirilis pada bulan Desember 2016 lalu. Fokus utama dari rilis ini adalah perbaikan dalam Structured Streaming dan Machine Learning.
  4. CRAN now has 10,000 R packages. Here’s how to find the ones you need.
    CRAN yang merupakan repositori global paket open source untuk menambah kemampuan R, telah mencapai sebuah tonggak sejarah. Lebih dari 10.000 paket R tersedia untuk di download.
  5. Performance Tuning of an Apache Kafka/Spark Streaming System
    Pada artikel ini akan dijelaskan bagaimana meningkatkan performance hingga 10 x pada aplikasi Apache Kafka/Spark Stream/Apache ignite.
  6. A Visual Introduction to Machine Learning
    Dalam machine learning, komputer menerapkan teknik-teknik statistik untuk mengidentifikasi pola dalam data secara otomatis. Teknik ini dapat digunakan untuk membuat prediksi yang sangat akurat. Menggunakan kumpulan data tentang perumahan, dibuatlah model machine learning untuk membedakan antara pemukiman di New York dan San Francisco. Dalam tutorial ini ditunjukkan dengan jelas bagaimana langkah yang diambil dalam merancang sebuah proses machine learning, dan bagaimana membaca data yang dihasilkan, serta apa yang harus dilakukan untuk mendapatkan hasil yang dibutuhkan.
  7. Pandas Cheat Sheet: Data Science and Data Wrangling in Python
    Pengenalan singkat mengenai bagaimana menggunakan Pandas untuk melakukan data wrangling dengan Python.

Rilis produk

  1. The Apache Software Foundation Announces Apache® Eagle™ as a Top-Level Project
    The Apache software Foundation (ASF) pada 10 Jan 2017 lalu mengumumkan bahwa Apache Eagle telah meningkat dari status incubating menjadi TLP (top level project). Apache Eagle adalah solusi monitoring dan alerting untuk mengidentifikasi isu-isu yang terkait dengan security dan performance dalam platform-platform big data seperti Hadoop, Spark, dan lain sebagainya.
  2. Intel Open-Sources BigDL, Distributed Deep Learning Library for Apache Spark
    ntel meng-opensource-kan BigDL, sebuah library deep learning terdistribusi yang berjalan di atas Apache Spark. BigDL memanfaatkan cluster Spark untuk menjalankan perhitungan deep learning dan menyederhanakan data loading dari dataset besar yang disimpan di Hadoop. Library BigDL mendukung Spark versi 1.5, 1.6 dan 2.0 dan memungkinkan deep learning untuk dimasukkan ke dalam program berbasis Spark yang sudah dibuat. BigDL berisi metode untuk mengkonversi RDDS Spark ke BigDL DataSet dan dapat digunakan langsung dengan Spark ML Pipelines.

Source : idBigData – Seputar Big Data edisi #3

ITERA

Big Data Untuk Kedaulatan Data Indonesia

Menggandeng ITERA (Institut Teknologi Sumatra) dan AIDI (Asosiasi Ilmuwan Data Indonesia, IDBigData menggelar meetup yang pertama di tahun 2017 di kampus ITERA, Lampung.
Meetup dibuka oleh Wakil Rektor I ITERA, Prof. Dr.-Ing. Mitra Djamal, dan menampilkan topik-topik menarik dan terkini yang terkait dengan big data.

Pembicara yang tampil di antaranya adalah Dr. Masayu Leylia Khodra dari ITB, memaparkan mengenai "Text Mining: Peringkasan Teks Bahasa Indonesia". Dalam era di mana pertumbuhan data dan informasi terjadi secara luar biasa, muncul fenomena yang biasa disebut "Information Overload", atau kebanjiran informasi. Orang tidak mungkin lagi membaca semua informasi yang ditemui. Untuk mengatasi hal ini, peringkasan teks menjadi sebuah proses yang penting dan sangat memudahkan bagi manusia untuk menyerap sebanyak mungkin informasi dalam waktu yang terbatas.
Pembicara lain adalah Andry Alamsyah, S.Si, M.Sc, Chairman dari Asosiasi Ilmuwan Data Indonesia (AIDI), menjelaskan mengenai Data Sains dalam perspektif bisnis. Dalam paparannya Andry menyampaikan banyak sekali use case yang menarik yang berkaitan dengan pengolahan data dan opportunity yang dapat digali dan diciptakan dari data.

Tampil pula Ir. Beno K Pradekso MSc.EE, CEO SOLUSI247, membawa tema "Big Data untuk Kedaulatan Data Indonesia", dan tidak ketinggalan pula, Sigit Prasetyo, ketua IDBigData, yang mengajak peserta untuk berkenalan dengan YAVA, distro Hadoop buatan anak bangsa.
Meetup #12 ini dihadiri oleh 89 peserta, yang berasal dari kalangan universitas, pemerintahan dan industri, di antaranya dari ITERA, Unila, Bapeda Lampung dan Bank Lampung.

Selain seminar singkat, di hari ke 2 diadakan pula workshop yang merupakan kerja sama dengan Lab247, yang memberikan kesempatan pada para peserta untuk mendapatkan hands on experience dengan big data tools dan platform seperti Chanthel (distributed document management), dan HGrid (big data engineering).
Untuk rekan-rekan yang belum berkesempatan mengikutinya, rekaman meetup ke 12 ini dapat disaksikan melalui channel IDBigData.

Meetup ke 13 rencananya akan dilaksanakan pada bulan Februari 2017, bekerja sama dengan Universitas Indonesia.


 

Source : idBigData

fitur_sepbigdata_2_2

idBigData: Seputar Big Data Edisi #2

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Januari 2017.

Artikel dan Berita

  1. DZone Big Data - Generating Values From Big Data Analytics for Your Business in 2017
    Beberapa hal yang dapat dilakukan dalam pemanfaatan big data pada toko online atau marketplace
  2. McKinsey - Unlocking the power of data in sales
    Bagaimana memanfaatkan data untuk memaksimalkan performa dalam B2B sales.
  3. Simplified Analytics - This is how Analytics is changing the game of Sports!!
    Big Data dan Analisa Data telah membuat banyak perubahan pada berbagai industri, tak terkecuali pada bidang olahraga. Selama beberapa tahun terakhir, dunia olahraga telah mengalami ledakan dalam penggunaan analisa data.
  4. DZone Big Data - The Role of Big Data in Finance and Trading
    Industri keuangan dan perdagangan valuta maupun saham selalu mengandalkan data yang kuat dan masukan yang akurat dalam pengambilan keputusan. Memasuki tahun 2017 ini, sangat jelas bahwa big data merevolusi industri keuangan dan perdagangan baik dari dalam ke luar.
  5. Yahoo Finance - Big Data Market to Reach 3 Billion by 2025: Increased Adoption of Cloud Computing - Research and Markets
    Research and Markets dalam laporannya "Big Data Market Analysis 2014 - 2025" menyatakan bahwa pasar big data diharapkan akan mencapai USD 123.2 miliar pada tahun 2025.
  6. Smart Data Collective - 3 Sweet Big Data Lies
    Big Data menjadi sebuah buzzword sampai hari ini. Walaupun memang petensinya cukup besar dalam menyelesaikan masalah, namun ada beberapa pemahaman yang kurang tepat terhadap big data.
  7. The Register - Hadoop hurler Hortonworks votes Tibco veteran for president
    Hortonworks menunjuk nama baru sebagai sebagai President dan COO pada perusahaan tersebut. Ia adalah Raj Verma yang sebelumnya merupakan COO pada enterprise software bussiness TIBCO dan telah terbukti kesuksesannya dalam mengakselearsi peningkatan revenue yang signifikan.

Tutorial dan Pengetahuan Teknis

  1. DZone Big Data - Quick Tips: Apache Phoenix and Zeppelin
    Sebuah tips mengenai query pada Apache Phoenix menggunakan Zeppelin, dan dengan cepat menambahkan grafis untuk tabel Zeppelin tersebut
  2. AWS Big Data Blog - Create a Healthcare Data Hub with AWS and Mirth Connect
    Pemanfaatan Mirth Connect yang merupakan teknologi open source pada Amazon Web Services untuk membangun sebuah sistem untuk mengintegrasikan informasi-informasi dalam bidang kesehatan.
  3. Creating Data Visualization in Matplotlib
    Matplotlib adalah library data visualization untuk Python yang paling banyak digunakan. Overview ini mencakup beberapa grafik yang bermanfaat untuk berbagai macam analisis, dan bagaimana sebaiknya grafik tersebut disajikan agar data anda dapat 'bercerita'.
  4. DZone Big Data - Parsing and Querying CSVs With Apache Spark
    Pada artikel ini akan dijelaskan bagaimana memecah dan mengquery data berformat CSV menggunakan Apache Spark. SQLContext akan memudahkan query pada data CSV.
  5. MapR - Real-time Smart City Traffic Monitoring Using Microservices-based Streaming Architecture (Part 2)
    Artikel ini merupakan seri lanjutan dari pemanfaatan Complex Event Processing (CEP). Kasus ini akan memanfaatkan sensor tunggal yang dapat mengukur kecepatan kendaraan yang melewatinya. Dengan menggunakan data sensor tersebut kita dapat memprediksikan kemacetan secara realtime
  6. Cloudera Engineering Blog - How-to: Fuzzy Name Indexing in Apache Hadoop with Rosette and Cloudera Search
    Pada tutorial ini akan dipelajari cara menggunakan Coudera Search dan Rosette untuk melakukan pencarian nama secara fuzzy pada berbagai bahasa dan dokumen.
  7. KDnuggets - The Most Popular Language For Machine Learning and Data Science Is …
    Ketika melakukan pemilihan bahasa pemrograman untuk proyek Data Analytics, banyak terjadi perbedaan pendapat yang tentunya sangat bergantung pada latar belakang dan area yang digeluti.

Rilis produk

  1. Apache Beam - Apache Beam established as a new top-level project
    Apache Software Foundation mengumumkan bahwa Apache Beam telah menjadi Top-Level Project pada apache project. Sebelumnya Apache Beam merilis versi terbaru yaitu versi 0.4.0
  2. Apache Calcite - Release 1.11.0
    Hampir tiga bulan setelah rilis sebelumnya, terdapat daftar panjang perbaikan software termasuk perbaikan bug.

 

fitur_image_seputarBigData1

idBigData: Seputar Big Data Edisi #1

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu pertama bulan Januari 2017.

Artikel dan berita

  1. datafloq.com - 4 Industries Leading the Way in IoT Integration
    Perkembangan Internet of Thing saat ini sangat pesat. Diprediksi dalam waktu dekat, hampir semua perangkat akan terkoneksi satu sama lainnya untuk membuat hidup kita lebih mudah. Ada 4 industri yang diperkirakan akan mengambil manfaat dari IoT.
  2. AWS Big Data Blog - Decreasing Game Churn: How Upopa used ironSource Atom and Amazon ML to Engage Users
    Apakah pernah mengalami kesulitan untuk menjaga loyalitas pengguna supaya tidak meninggalkan game atau aplikasi, setelah bersusah untuk menarik pengguna? Upopa, sebuah studio game yang memanfaatkan machine learning untuk memprediksi perilaku para pengguna game.
  3. oreilly.com - 7 AI trends to watch in 2017
    Pada tahun 2016 lalu, banyak terjadi inovasi-inovasi yang luar biasa, banyak investasi di bidang Artificial Intelligent baik pada perusahaan besar maupun startup. Bagaimana dengan tahun 2017?
  4. DZone - Understanding Machine Learning
    Apa sebetulnya Machine Learning? Sebuah penjelasan mengenai machine learning, cara kerjanya dan bagaimana penggunaannya.
  5. Yahoo Finance - Hadoop Big Data Analytics Market Worth 40.69 Billion USD by 2021
    Menurut sebuah laporan market research yang dipublikasikan oleh MarketsandMarkets, pasar big data analytics akan berkembang dari USD 6.71 miliar di tahun 2016 akan menjadi USD 40.69 miliar di tahun 2021.
  6. insideBIGDATA - Loggly Introduces Gamut™ Search for Massive-Scale Log Analysis
    Loggly, perusahaan di balik, kelas enterprise layanan manajemen log berbasis cloud, memperkenalkan Gamut ™ Search, teknologi analisa log yang khusus dirancang untuk merespon langsung pencarian pada data bervolume sangat besar dan dalam periode waktu yang lama.
  7. BrightPlanet - Social Media Data – Instagram Pulls Back on API Access
    Program pemantauan sosial media perlu melakukan perubahan dan terbuka untuk opsi lain pada data open-source. Seperti Instagram melakukan beberapa perubahan akses API, dan akses ke data-data akan dibatasi.

 

Tutorial dan pengetahuan teknis

  1. ZDNet - Hands-on with Azure Data Lake: How to get productive fast
    Microsoft Azure Data Lake saat ini telah tersedia secara umum, tapi apa fungsinya, dan bagaimana cara kerjanya? Artikel berikut merupakan overview seputar tools dan kemampuan layanan, untuk membantu memahami dan meningkatkan produktifitas.
  2. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  3. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  4. IBM Big Data Hub - How to build an all-purpose big data engine with Hadoop and Spark
    Beberapa organisasi sering salah dalam mengoptimalkan penggunakan Hadoop dan Spark bersama-sama, terutama karena masalah kompleksitas. Padalah kombinasi keduanya memungkinkan untuk analisa data yang lebih luas dan mendukung use case yang lebih banyak.
  5. DZone Big Data - Kafka Avro Scala Example
    Tutorial mengenai cara menulis dan membaca pesan dalam format Avro dari/ke Kafka. Bagaimana cara menghasilkan pesan untuk dikodekan menggunakan Avro, cara mengirim pesan tersebut ke Kafka, dan bagaimana untuk mengkonsumsi dengan konsumen dan akhirnya bagaimana untuk dibaca dan digunakan.
  6. IBM Hadoop Dev - Enable Snappy Compression for Improved Performance in Big SQL and Hive
    Ketika loading data ke dalam tabel Parquet, Big SQL akan menggunakan kompresi Snappy secara default. Pada Hive, secara default kompresi tidak diaktifkan, akibatnya tabel bisa secara signifikan menjadi lebih besar
  7. KDnuggets - Generative Adversarial Networks – Hot Topic in Machine Learning
    Apa Generative Adversarial Networks (GAN)? Ilustratif sederhana dari GAN adalah dengan mengambil contoh seperti memprediksi frame berikutnya dalam urutan video atau memprediksi kata berikutnya saat mengetik di google search.
  8. MapR - Monitoring Real-Time Uber Data Using Spark Machine Learning, Streaming, and the Kafka API (Part 2)
    Ini merupakan bagian kedua dari tutorial untuk membuat pemantauan secara realtime mobil-mobil yang digunakan oleh Uber. Tutorial ini menggunakan algoritma k-means pada Apache Spark untuk melakukan pengelompokan data secara realtime
  9. LinkedIn Engineering - Asynchronous Processing and Multithreading in Apache Samza, Part I: Design and Architecture
    Apache Samza terus digunakan oleh LinkedIn dan perusahaan lain untuk melakukan pemrosesan stream. Pada sistem pengolahan stream lainnya menyederhanakan model pemrograman untuk menjadi synchronous and stream/event-based, sedangkan Samza mengembangkan model asynchronous.
  10. MapR - Processing Image Documents on MapR at Scale
    Sebuah tutorial dari MapR untuk pemrosesan gambar dengan menggunakan Apache Spark dan Tesseract OCR engine

 

Rilis produk

  1. GitHub - kafka-utilities
    Sebuah project yang dishare oleh wushujames di hithub.com yang memberikan script untuk menganalisa keadaan klaster Kafka, untuk menentukan broker yang dapat digunakan untuk partisi under-replicated
  2. GitHub - burry
    Burry adalah backup recovery tool yang digunakan untuk membackup dan mengembalikan service pada Zookeepr dan etcd. Tools ini dibuat oleh Michael Hausenblas dan dapat diunduh pada github.com

Source :
About Big Data #1

 

FI_Scrum Training Day

Scrum Development Software Training Day – IABIE dan Labs247

Kamis, 12 Januari 2017, Labs247 bekerja sama dengan IABIE menggelar pelatihan SCRUM yang bertajuk "Scrum Training Day". Scrum Training Day dimulai pukul 17.00 WIB s/d selesai dan berlokasi di Head Office PT. Dua Empat Tujuh yang beralamat di Segitiga Emas Bussiness Park, Jl. Prof. Dr. Satrio Kav. 6, Jakarta Selatan – 12940, Indonesia. Pelatihan ini menghadirkan narasumber yang menjelaskan definisi dan fungsi Scrum.

SCRUM TRAINING DAY2


Penjelasan Singkat Scrum Development Software

Pertama kali diperkenalkan oleh Jeff Sutherland awal tahun 1990an dan kemudian dikembangkan oleh Schwaber dan Beedle. Scrum merupakan framework untuk manajemen pengembangan system dengan karakteristik cekatan dan bersifat iterative dan incremental. Scrum mendefinisikan dirinya flexible. Scrum memiliki strategi pengembangan yang menyeluruh dimana seluruh team dalam suatu projek akan bekerja sebagai satu kesatuan untuk mencapai goal yang sama.

Scrum memiliki 3 role, diantaranya :

  1. Product Owner
    Produk owner memastikan bahwa proyek berjalan sesuai yang diharapkan. Produk owner merupakan jembatan antara klien dengan team development. Produk owner akan menuliskan spesifikasi-spesifikasi yang sesuai dengan cara pandang klien

  2. Team Member
    Team Member terdiri dari para profesional yang bekerja dalam suatu projek. Team Member dibentuk dan didukung oleh organisasi untuk mengatur dan mengelola pekerjaannya secara mandiri.

  3. Scrum Master
    Scrum Master adalah seorang pemimpin yang melayani Team Member. Scrum Master membantu pihak di luar Team Member untuk memahami apakah interaksi mereka dengan Team Member bermanfaat atau tidak. Scrum Master bertanggung jawab untuk memastikan Scrum telah dipahami dan dilaksanakan. Scrum Master melakukannya dengan memastikan Team Member mengikuti teori, praktik, dan aturan main Scrum. Scrum master akan mencegah hal-hal yang mengalihkan focus team. Scrum master juga bertanggung jawab untuk membuat suasana kondusif agar team dapat bekerja sama dalam proses pencapaian goal.

Source :
Scrum Development Software Definition
Scrum Metodology


Capture14

Capture13

 

 

kbi2

Persembahan idBigData Untuk Indonesia

Komunitas big data Indonesia telah sukses menggelar konferensi big data terbesar di Indonesia untuk yang ke 3 kalinya pada 7 dan 8 Desember 2016 lalu. Konferensi yang dihadiri sekitar 400 peserta ini diselenggarakan di di Auditorium Gedung BPPT, Jakarta, dan menampilkan 30 pembicara.

Konferensi Big Data Indonesia merupakan event tahunan yang diadakan oleh idBigdata, dan selama 3 tahun ini selalu konsisten dalam usaha mendorong perkembangan dan pemanfaatan big data di Indonesia. Menurut Sigit Prasetyo, chairman IDBigData sekaligus ketua panitia, KBI2016 adalah ajang show-off bagi berbagai pihak di dalam negeri untuk menunjukkan bahwa bangsa Indonesia sangat mampu untuk mengembangkan dan menerapkan big data dan berbagai teknologi yang mendukungnya.

Besarnya potensi data dan kebutuhan teknologi big data di dalam negeri diungkapkan Neil L Himam dari Bekraf, bahwa pada tahun 2020 mendatang di Indonesia diperkirakan akan ada sekitar 1,7 milyar perangkat terhubung ke internet of things, yang tentunya akan memproduksi data yang sangat besar. Nilai komersialisasi data sendiri bukanlah jumlah yang kecil, misalnya kapitalisasi pasar Facebook saat ini adalah USD 340 miliar, sedangkan ‘warga’ Facebook dari Indonesia sebanyak 77 juta, setara dengan USD 15 miliar atau Rp. 200 Triliun. Contoh lain adalah GOJEK, dengan jumlah pengemudi lebih dari 20 ribu dan aplikasi terinstall melebihi 10 juta, saat ini membukukan setidaknya 20 juta transaksi per bulan. Hal tersebut menunjukkan potensi pemanfaatan big data untuk mendorong tumbuhnya ekonomi kreatif sangat besar.

Indonesia sebenarnya memiliki banyak potensi dan kemampuan dalam pengembangan maupun penerapan big data, seperti disampaikan oleh Beno K. Pradekso, CEO Solusi247, bahwa big data yang banyak didukung oleh teknologi open source, memungkinkan siapapun untuk dapat mengembangkan dan memanfaatkannya. Seperti yang selama ini sudah dilakukan oleh Solusi247, yang telah berhasil membuat berbagai tools untuk big data processing, maupun big data analytics, yang sudah diimplementasikan oleh beberapa perusahaan besar di Indonesia.

Wisnu Jatmiko, Manager Riset Fakultas Ilmu Komputer Universitas Indonesia menyampaikan hal senada, yaitu bahwa Indonesia sebenarnya sangat mampu untuk mengembangkan berbagai peralatan, algoritma maupun berbagai teknologi modern lainnya, seperti misalnya yang telah dikembangkan oleh team peneliti dari indonesia dalam bidang telehealth. Dalam serangkaian penelitian ini telah berhasil dikembangkan berbagai alat maupun algoritma yang dapat digunakan untuk melakukan USG maupun EKG secara otomatis, bahkan alat EKG ini telah berhasil mendapat penghargaan di level asia pasifik.

Tampil pula Oskar Riandi, CEO Bahasa Kita, yang menampilkan teknologi voice analytics. Oskar menyampaikan bahwa multimedia adalah bagian terbesar dari big data, namun saat ini penggalian dan pengolahannya masih sangat minim. Dalam pemaparannya disampaikan mengenai berbagai contoh pemanfaatan dan pengolahan data suara, khususnya yang telah berhasil dilakukan dengan menggunakan tools yang dibuat oleh Bahasa Kita.

Konferensi Big Data Indonesia 2016 juga menampilkan beberapa pembicara yang membagi pengalaman, tip dan insight mengenai implementasi big data dalam perusahaan mereka, di antaranya adalah Tina Lusiana, IT Data Analyst dari PT Telkomsel, perusahaan yang saat ini memiliki cluster Hadoop terbesar di Indonesia dengan lebih dari 300 nodes. Telkomsel merupakan operator telekomunikasi terbesar ke-15 di dunia, sehingga data yang diproses sangat besar, dan big data, khususnya Hadoop menjadi solusi pengolahan data yang ekonomis untuk diterapkan dalam skala besar. Hadoop cluster dapat mendukung kebutuhan pengolahan data dan analytics untuk memperbaiki layanan, merumuskan strategi marketing, maupun mendeteksi fraud.

Salah satu peningkatan yang didapatkan dengan penggunaan customer profiling dan campaign, adalah adanya peningkatan recharge sebesar 13 Milyar rupiah.

Pemanfaatan big data untuk pembangunan kota, yang biasa disebut dengan smart city disampaikan oleh Setiaji, Head of Jakarta Smart City. Pembicara lain yaitu Aldila Septiadi, Digital & Data Analytics Manager, PT Danone Indonesia, yang menyampaikan mengenai inovasi disruptive dalam bisnis FMCG. Dari bidang perbankan, tampil Febrianto, Team Leader Data Analyst and Insight PT. Bank Mandiri, menyampaikan mengenai transformasi bisnis melalui data analytics yang dilakukan oleh bank Mandiri.

31264444230_8cbfa94c1e_k
30867989433_573202c950_o
31531939712_fc726471ce_o
31639623105_d8b7bda030_o

Dari sisi pembentukan sumber daya, khususnya data scientist, tampil Komang Budi Aryasa, Deputy Research & Big Data, Pt Telkom Indonesia, mengulas mengenai peran seorang Chief Data Scientist. Menurut Komang, seorang data scientist memiliki peran yang luas dalam proses bisnis modern, baik dari sisi teknis maupun bisnis, mulai dari pendefinisian produk dan visi, sampai pada penerapan teknologi untuk memaksimalkan gross margin. Tampil pula Ainun Najib, Head Of Data, Traveloka, yang membawakan mengenai role dan skillset yang diperlukan dalam sebuah data team.

Dihadirkan pula beberapa showcase yang diantara menampilkan pemanfaatan tools maupun platform big data, di antaranya Big Data Lake, Big Data Document, Business Data Science, dan Big Data for Geospatial, yang disampaikan oleh pembicara-pembicara dari Labs247, Montis Advisory, dan Badan Informasi Geospatial Indonesia (BIG).


Untuk lebih lengkapnya, dapat dilihat melalui Channel Youtube idBigData


Source : idBigData

feature-image-kbi2016

Solusi247: “Big Data Untuk Indonesia” – Konferensi Big Data Indonesia 2016

Jakarta, 2016

Sudah setahun setelah diadakannya Konferensi Bigdata Indonesia 2.0 (KBI2015), kali ini Komunitas IdBigData lagi-lagi menyelenggarakan kegiatan berskala Nasional yaitu Konfe  rensi Bigdata Indonesia 3.0 (KBI2016). Berbeda dengan tahun lalu, KBI2016 kali ini diselenggarakan di Ibu Kota Jakarta. Kegiatan yang berlangsung selama 2 hari tanggal 7-8 Desember 2016 ini diadakan di Auditorium Gedung BPPT 1 Jl. M. H. Thamrin No. 8 Kb. Sirih, Menteng, Jakarta Pusat.

Konferensi Bigdata Indonesia 2016 turut mengundang narasumber-narasumber yang ahli di bidangnya, seperti Prof. Drs. H. Muhammad Nasir, M.Si, Ak, Ph.D, CA – Menteri Riset Teknologi dan Pendidikan Tinggi Republik Indonesia, Rudiantara – Menteri Komunikasi dan Informatika Republik Indonesia, Beno Kunto Pradekso – CEO SOLUSI247, Komang Aryasa – Deputy Research and Big Data PT. Telekomunikasi Indonesia, Ainun Najib – Head of Data at Traveloka, Aldila Septiadi SE, Msc, - Digital and Data Analytic Manager of Danone dan masih banyak lagi.

Sebagai sponsor utama yang berdampingan dengan IBM, SOLUSI247 mengirimkan narasumber-narasumber ahli seperti Beno Kunto Pradekso – CEO SOLUSI247, Aria Rahendra – Chief Marketing Officer SOLUSI247, Mugi Prayitno – Chief of Architect SOLUSI247, Imam Turmudzi - Big Data Project Manager SOLUSI247 dan Dolants - Product Development Manager Labs247.

Mengangkat tema “Leveraging National Capacities and Capabilities”, Konferensi Bigdata Indonesia 2016 mampu mempertemukan para praktisi, penggiat, dan pengguna Big Data di Indonesia.


 

Bertemu

KBI 2016 merupakan ajang bertemunya para ahli, peneliti, praktisi dan peminat big data di Indonesia. Mengumpulkan lebih dari 30 pembicara dari industri, instansi pemerintah, lembaga penelitian dan universitas-universitas terkemuka di Indonesia, dan lebih dari 400 peserta dari berbagai latar belakang dan keahlian, dengan satu kesamaan, yaitu ketertarikan terhadap teknologi big data, pengembangan dan pemanfaatannya.

Bersinergi

Dengan latar belakang peserta dan pembicara yang beragam, KBI 2016 merupakan kesempatan untuk memadukan pengalaman yang luas, pengetahuan, dasar teori yang mendalam, dan visi ke depan yang bertujuan untuk kemajuan dan kemandirian bangsa. KBI 2016 khususnya, dan idBigdata pada umumnya, diharapkan menjadi titik temu berbagai kalangan untuk menjalin kerja sama dan bersinergi dalam pengembangan dan pemanfaatan big data.

Berinovasi

Dengan terjalinnya kerja sama yang baik dari kalangan dengan latar belakang yang beragam tersebut diharapkan terlahir karya- karya inovatif di bidang big data, yang dapat bermanfaat bagi kemajuan industri dan kesejahteraan masyarakat Indonesia.