Tag Archives: Big Data

idBigData: Seputar Big Data Edisi #2

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu kedua bulan Januari 2017.

Artikel dan Berita

  1. DZone Big Data - Generating Values From Big Data Analytics for Your Business in 2017
    Beberapa hal yang dapat dilakukan dalam pemanfaatan big data pada toko online atau marketplace
  2. McKinsey - Unlocking the power of data in sales
    Bagaimana memanfaatkan data untuk memaksimalkan performa dalam B2B sales.
  3. Simplified Analytics - This is how Analytics is changing the game of Sports!!
    Big Data dan Analisa Data telah membuat banyak perubahan pada berbagai industri, tak terkecuali pada bidang olahraga. Selama beberapa tahun terakhir, dunia olahraga telah mengalami ledakan dalam penggunaan analisa data.
  4. DZone Big Data - The Role of Big Data in Finance and Trading
    Industri keuangan dan perdagangan valuta maupun saham selalu mengandalkan data yang kuat dan masukan yang akurat dalam pengambilan keputusan. Memasuki tahun 2017 ini, sangat jelas bahwa big data merevolusi industri keuangan dan perdagangan baik dari dalam ke luar.
  5. Yahoo Finance - Big Data Market to Reach 3 Billion by 2025: Increased Adoption of Cloud Computing - Research and Markets
    Research and Markets dalam laporannya "Big Data Market Analysis 2014 - 2025" menyatakan bahwa pasar big data diharapkan akan mencapai USD 123.2 miliar pada tahun 2025.
  6. Smart Data Collective - 3 Sweet Big Data Lies
    Big Data menjadi sebuah buzzword sampai hari ini. Walaupun memang petensinya cukup besar dalam menyelesaikan masalah, namun ada beberapa pemahaman yang kurang tepat terhadap big data.
  7. The Register - Hadoop hurler Hortonworks votes Tibco veteran for president
    Hortonworks menunjuk nama baru sebagai sebagai President dan COO pada perusahaan tersebut. Ia adalah Raj Verma yang sebelumnya merupakan COO pada enterprise software bussiness TIBCO dan telah terbukti kesuksesannya dalam mengakselearsi peningkatan revenue yang signifikan.

Tutorial dan Pengetahuan Teknis

  1. DZone Big Data - Quick Tips: Apache Phoenix and Zeppelin
    Sebuah tips mengenai query pada Apache Phoenix menggunakan Zeppelin, dan dengan cepat menambahkan grafis untuk tabel Zeppelin tersebut
  2. AWS Big Data Blog - Create a Healthcare Data Hub with AWS and Mirth Connect
    Pemanfaatan Mirth Connect yang merupakan teknologi open source pada Amazon Web Services untuk membangun sebuah sistem untuk mengintegrasikan informasi-informasi dalam bidang kesehatan.
  3. Creating Data Visualization in Matplotlib
    Matplotlib adalah library data visualization untuk Python yang paling banyak digunakan. Overview ini mencakup beberapa grafik yang bermanfaat untuk berbagai macam analisis, dan bagaimana sebaiknya grafik tersebut disajikan agar data anda dapat 'bercerita'.
  4. DZone Big Data - Parsing and Querying CSVs With Apache Spark
    Pada artikel ini akan dijelaskan bagaimana memecah dan mengquery data berformat CSV menggunakan Apache Spark. SQLContext akan memudahkan query pada data CSV.
  5. MapR - Real-time Smart City Traffic Monitoring Using Microservices-based Streaming Architecture (Part 2)
    Artikel ini merupakan seri lanjutan dari pemanfaatan Complex Event Processing (CEP). Kasus ini akan memanfaatkan sensor tunggal yang dapat mengukur kecepatan kendaraan yang melewatinya. Dengan menggunakan data sensor tersebut kita dapat memprediksikan kemacetan secara realtime
  6. Cloudera Engineering Blog - How-to: Fuzzy Name Indexing in Apache Hadoop with Rosette and Cloudera Search
    Pada tutorial ini akan dipelajari cara menggunakan Coudera Search dan Rosette untuk melakukan pencarian nama secara fuzzy pada berbagai bahasa dan dokumen.
  7. KDnuggets - The Most Popular Language For Machine Learning and Data Science Is …
    Ketika melakukan pemilihan bahasa pemrograman untuk proyek Data Analytics, banyak terjadi perbedaan pendapat yang tentunya sangat bergantung pada latar belakang dan area yang digeluti.

Rilis produk

  1. Apache Beam - Apache Beam established as a new top-level project
    Apache Software Foundation mengumumkan bahwa Apache Beam telah menjadi Top-Level Project pada apache project. Sebelumnya Apache Beam merilis versi terbaru yaitu versi 0.4.0
  2. Apache Calcite - Release 1.11.0
    Hampir tiga bulan setelah rilis sebelumnya, terdapat daftar panjang perbaikan software termasuk perbaikan bug.

 

idBigData: Seputar Big Data Edisi #1

Kumpulan berita, artikel, tutorial dan blog mengenai Big Data yang dikutip dari berbagai site. Berikut ini beberapa hal menarik yang layak untuk dibaca kembali selama minggu pertama bulan Januari 2017.

Artikel dan berita

  1. datafloq.com - 4 Industries Leading the Way in IoT Integration
    Perkembangan Internet of Thing saat ini sangat pesat. Diprediksi dalam waktu dekat, hampir semua perangkat akan terkoneksi satu sama lainnya untuk membuat hidup kita lebih mudah. Ada 4 industri yang diperkirakan akan mengambil manfaat dari IoT.
  2. AWS Big Data Blog - Decreasing Game Churn: How Upopa used ironSource Atom and Amazon ML to Engage Users
    Apakah pernah mengalami kesulitan untuk menjaga loyalitas pengguna supaya tidak meninggalkan game atau aplikasi, setelah bersusah untuk menarik pengguna? Upopa, sebuah studio game yang memanfaatkan machine learning untuk memprediksi perilaku para pengguna game.
  3. oreilly.com - 7 AI trends to watch in 2017
    Pada tahun 2016 lalu, banyak terjadi inovasi-inovasi yang luar biasa, banyak investasi di bidang Artificial Intelligent baik pada perusahaan besar maupun startup. Bagaimana dengan tahun 2017?
  4. DZone - Understanding Machine Learning
    Apa sebetulnya Machine Learning? Sebuah penjelasan mengenai machine learning, cara kerjanya dan bagaimana penggunaannya.
  5. Yahoo Finance - Hadoop Big Data Analytics Market Worth 40.69 Billion USD by 2021
    Menurut sebuah laporan market research yang dipublikasikan oleh MarketsandMarkets, pasar big data analytics akan berkembang dari USD 6.71 miliar di tahun 2016 akan menjadi USD 40.69 miliar di tahun 2021.
  6. insideBIGDATA - Loggly Introduces Gamut™ Search for Massive-Scale Log Analysis
    Loggly, perusahaan di balik, kelas enterprise layanan manajemen log berbasis cloud, memperkenalkan Gamut ™ Search, teknologi analisa log yang khusus dirancang untuk merespon langsung pencarian pada data bervolume sangat besar dan dalam periode waktu yang lama.
  7. BrightPlanet - Social Media Data – Instagram Pulls Back on API Access
    Program pemantauan sosial media perlu melakukan perubahan dan terbuka untuk opsi lain pada data open-source. Seperti Instagram melakukan beberapa perubahan akses API, dan akses ke data-data akan dibatasi.

 

Tutorial dan pengetahuan teknis

  1. ZDNet - Hands-on with Azure Data Lake: How to get productive fast
    Microsoft Azure Data Lake saat ini telah tersedia secara umum, tapi apa fungsinya, dan bagaimana cara kerjanya? Artikel berikut merupakan overview seputar tools dan kemampuan layanan, untuk membantu memahami dan meningkatkan produktifitas.
  2. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  3. KDnuggets - Internet of Things Tutorial: WSN and RFID – The Forerunners
    Wireless Sensor Network dan RFID adalah kunci utama untuk memahami konsep-konsep yang lebih kompleks dari IoT dan teknologinya.
  4. IBM Big Data Hub - How to build an all-purpose big data engine with Hadoop and Spark
    Beberapa organisasi sering salah dalam mengoptimalkan penggunakan Hadoop dan Spark bersama-sama, terutama karena masalah kompleksitas. Padalah kombinasi keduanya memungkinkan untuk analisa data yang lebih luas dan mendukung use case yang lebih banyak.
  5. DZone Big Data - Kafka Avro Scala Example
    Tutorial mengenai cara menulis dan membaca pesan dalam format Avro dari/ke Kafka. Bagaimana cara menghasilkan pesan untuk dikodekan menggunakan Avro, cara mengirim pesan tersebut ke Kafka, dan bagaimana untuk mengkonsumsi dengan konsumen dan akhirnya bagaimana untuk dibaca dan digunakan.
  6. IBM Hadoop Dev - Enable Snappy Compression for Improved Performance in Big SQL and Hive
    Ketika loading data ke dalam tabel Parquet, Big SQL akan menggunakan kompresi Snappy secara default. Pada Hive, secara default kompresi tidak diaktifkan, akibatnya tabel bisa secara signifikan menjadi lebih besar
  7. KDnuggets - Generative Adversarial Networks – Hot Topic in Machine Learning
    Apa Generative Adversarial Networks (GAN)? Ilustratif sederhana dari GAN adalah dengan mengambil contoh seperti memprediksi frame berikutnya dalam urutan video atau memprediksi kata berikutnya saat mengetik di google search.
  8. MapR - Monitoring Real-Time Uber Data Using Spark Machine Learning, Streaming, and the Kafka API (Part 2)
    Ini merupakan bagian kedua dari tutorial untuk membuat pemantauan secara realtime mobil-mobil yang digunakan oleh Uber. Tutorial ini menggunakan algoritma k-means pada Apache Spark untuk melakukan pengelompokan data secara realtime
  9. LinkedIn Engineering - Asynchronous Processing and Multithreading in Apache Samza, Part I: Design and Architecture
    Apache Samza terus digunakan oleh LinkedIn dan perusahaan lain untuk melakukan pemrosesan stream. Pada sistem pengolahan stream lainnya menyederhanakan model pemrograman untuk menjadi synchronous and stream/event-based, sedangkan Samza mengembangkan model asynchronous.
  10. MapR - Processing Image Documents on MapR at Scale
    Sebuah tutorial dari MapR untuk pemrosesan gambar dengan menggunakan Apache Spark dan Tesseract OCR engine

 

Rilis produk

  1. GitHub - kafka-utilities
    Sebuah project yang dishare oleh wushujames di hithub.com yang memberikan script untuk menganalisa keadaan klaster Kafka, untuk menentukan broker yang dapat digunakan untuk partisi under-replicated
  2. GitHub - burry
    Burry adalah backup recovery tool yang digunakan untuk membackup dan mengembalikan service pada Zookeepr dan etcd. Tools ini dibuat oleh Michael Hausenblas dan dapat diunduh pada github.com

Source :
About Big Data #1

 

Scrum Development Software Training Day – IABIE dan Labs247

Kamis, 12 Januari 2017, Labs247 bekerja sama dengan IABIE menggelar pelatihan SCRUM yang bertajuk "Scrum Training Day". Scrum Training Day dimulai pukul 17.00 WIB s/d selesai dan berlokasi di Head Office PT. Dua Empat Tujuh yang beralamat di Segitiga Emas Bussiness Park, Jl. Prof. Dr. Satrio Kav. 6, Jakarta Selatan – 12940, Indonesia. Pelatihan ini menghadirkan narasumber yang menjelaskan definisi dan fungsi Scrum.

SCRUM TRAINING DAY2


Penjelasan Singkat Scrum Development Software

Pertama kali diperkenalkan oleh Jeff Sutherland awal tahun 1990an dan kemudian dikembangkan oleh Schwaber dan Beedle. Scrum merupakan framework untuk manajemen pengembangan system dengan karakteristik cekatan dan bersifat iterative dan incremental. Scrum mendefinisikan dirinya flexible. Scrum memiliki strategi pengembangan yang menyeluruh dimana seluruh team dalam suatu projek akan bekerja sebagai satu kesatuan untuk mencapai goal yang sama.

Scrum memiliki 3 role, diantaranya :

  1. Product Owner
    Produk owner memastikan bahwa proyek berjalan sesuai yang diharapkan. Produk owner merupakan jembatan antara klien dengan team development. Produk owner akan menuliskan spesifikasi-spesifikasi yang sesuai dengan cara pandang klien
  2. Team Member
    Team Member terdiri dari para profesional yang bekerja dalam suatu projek. Team Member dibentuk dan didukung oleh organisasi untuk mengatur dan mengelola pekerjaannya secara mandiri.
  3. Scrum Master
    Scrum Master adalah seorang pemimpin yang melayani Team Member. Scrum Master membantu pihak di luar Team Member untuk memahami apakah interaksi mereka dengan Team Member bermanfaat atau tidak. Scrum Master bertanggung jawab untuk memastikan Scrum telah dipahami dan dilaksanakan. Scrum Master melakukannya dengan memastikan Team Member mengikuti teori, praktik, dan aturan main Scrum. Scrum master akan mencegah hal-hal yang mengalihkan focus team. Scrum master juga bertanggung jawab untuk membuat suasana kondusif agar team dapat bekerja sama dalam proses pencapaian goal.

Source :
Scrum Development Software Definition
Scrum Metodology


Capture14

Capture13

 

 

Persembahan idBigData Untuk Indonesia

Komunitas big data Indonesia telah sukses menggelar konferensi big data terbesar di Indonesia untuk yang ke 3 kalinya pada 7 dan 8 Desember 2016 lalu. Konferensi yang dihadiri sekitar 400 peserta ini diselenggarakan di di Auditorium Gedung BPPT, Jakarta, dan menampilkan 30 pembicara.

Konferensi Big Data Indonesia merupakan event tahunan yang diadakan oleh idBigdata, dan selama 3 tahun ini selalu konsisten dalam usaha mendorong perkembangan dan pemanfaatan big data di Indonesia. Menurut Sigit Prasetyo, chairman IDBigData sekaligus ketua panitia, KBI2016 adalah ajang show-off bagi berbagai pihak di dalam negeri untuk menunjukkan bahwa bangsa Indonesia sangat mampu untuk mengembangkan dan menerapkan big data dan berbagai teknologi yang mendukungnya.

Besarnya potensi data dan kebutuhan teknologi big data di dalam negeri diungkapkan Neil L Himam dari Bekraf, bahwa pada tahun 2020 mendatang di Indonesia diperkirakan akan ada sekitar 1,7 milyar perangkat terhubung ke internet of things, yang tentunya akan memproduksi data yang sangat besar. Nilai komersialisasi data sendiri bukanlah jumlah yang kecil, misalnya kapitalisasi pasar Facebook saat ini adalah USD 340 miliar, sedangkan ‘warga’ Facebook dari Indonesia sebanyak 77 juta, setara dengan USD 15 miliar atau Rp. 200 Triliun. Contoh lain adalah GOJEK, dengan jumlah pengemudi lebih dari 20 ribu dan aplikasi terinstall melebihi 10 juta, saat ini membukukan setidaknya 20 juta transaksi per bulan. Hal tersebut menunjukkan potensi pemanfaatan big data untuk mendorong tumbuhnya ekonomi kreatif sangat besar.

Indonesia sebenarnya memiliki banyak potensi dan kemampuan dalam pengembangan maupun penerapan big data, seperti disampaikan oleh Beno K. Pradekso, CEO Solusi247, bahwa big data yang banyak didukung oleh teknologi open source, memungkinkan siapapun untuk dapat mengembangkan dan memanfaatkannya. Seperti yang selama ini sudah dilakukan oleh Solusi247, yang telah berhasil membuat berbagai tools untuk big data processing, maupun big data analytics, yang sudah diimplementasikan oleh beberapa perusahaan besar di Indonesia.

Wisnu Jatmiko, Manager Riset Fakultas Ilmu Komputer Universitas Indonesia menyampaikan hal senada, yaitu bahwa Indonesia sebenarnya sangat mampu untuk mengembangkan berbagai peralatan, algoritma maupun berbagai teknologi modern lainnya, seperti misalnya yang telah dikembangkan oleh team peneliti dari indonesia dalam bidang telehealth. Dalam serangkaian penelitian ini telah berhasil dikembangkan berbagai alat maupun algoritma yang dapat digunakan untuk melakukan USG maupun EKG secara otomatis, bahkan alat EKG ini telah berhasil mendapat penghargaan di level asia pasifik.

Tampil pula Oskar Riandi, CEO Bahasa Kita, yang menampilkan teknologi voice analytics. Oskar menyampaikan bahwa multimedia adalah bagian terbesar dari big data, namun saat ini penggalian dan pengolahannya masih sangat minim. Dalam pemaparannya disampaikan mengenai berbagai contoh pemanfaatan dan pengolahan data suara, khususnya yang telah berhasil dilakukan dengan menggunakan tools yang dibuat oleh Bahasa Kita.

Konferensi Big Data Indonesia 2016 juga menampilkan beberapa pembicara yang membagi pengalaman, tip dan insight mengenai implementasi big data dalam perusahaan mereka, di antaranya adalah Tina Lusiana, IT Data Analyst dari PT Telkomsel, perusahaan yang saat ini memiliki cluster Hadoop terbesar di Indonesia dengan lebih dari 300 nodes. Telkomsel merupakan operator telekomunikasi terbesar ke-15 di dunia, sehingga data yang diproses sangat besar, dan big data, khususnya Hadoop menjadi solusi pengolahan data yang ekonomis untuk diterapkan dalam skala besar. Hadoop cluster dapat mendukung kebutuhan pengolahan data dan analytics untuk memperbaiki layanan, merumuskan strategi marketing, maupun mendeteksi fraud.

Salah satu peningkatan yang didapatkan dengan penggunaan customer profiling dan campaign, adalah adanya peningkatan recharge sebesar 13 Milyar rupiah.

Pemanfaatan big data untuk pembangunan kota, yang biasa disebut dengan smart city disampaikan oleh Setiaji, Head of Jakarta Smart City. Pembicara lain yaitu Aldila Septiadi, Digital & Data Analytics Manager, PT Danone Indonesia, yang menyampaikan mengenai inovasi disruptive dalam bisnis FMCG. Dari bidang perbankan, tampil Febrianto, Team Leader Data Analyst and Insight PT. Bank Mandiri, menyampaikan mengenai transformasi bisnis melalui data analytics yang dilakukan oleh bank Mandiri.

Dari sisi pembentukan sumber daya, khususnya data scientist, tampil Komang Budi Aryasa, Deputy Research & Big Data, Pt Telkom Indonesia, mengulas mengenai peran seorang Chief Data Scientist. Menurut Komang, seorang data scientist memiliki peran yang luas dalam proses bisnis modern, baik dari sisi teknis maupun bisnis, mulai dari pendefinisian produk dan visi, sampai pada penerapan teknologi untuk memaksimalkan gross margin. Tampil pula Ainun Najib, Head Of Data, Traveloka, yang membawakan mengenai role dan skillset yang diperlukan dalam sebuah data team.

Dihadirkan pula beberapa showcase yang diantara menampilkan pemanfaatan tools maupun platform big data, di antaranya Big Data Lake, Big Data Document, Business Data Science, dan Big Data for Geospatial, yang disampaikan oleh pembicara-pembicara dari Labs247, Montis Advisory, dan Badan Informasi Geospatial Indonesia (BIG).


Untuk lebih lengkapnya, dapat dilihat melalui Channel Youtube idBigData


Source : idBigData

Solusi247: “Big Data Untuk Indonesia” – Konferensi Big Data Indonesia 2016

Jakarta, 2016

Sudah setahun setelah diadakannya Konferensi Bigdata Indonesia 2.0 (KBI2015), kali ini Komunitas IdBigData lagi-lagi menyelenggarakan kegiatan berskala Nasional yaitu Konfe  rensi Bigdata Indonesia 3.0 (KBI2016). Berbeda dengan tahun lalu, KBI2016 kali ini diselenggarakan di Ibu Kota Jakarta. Kegiatan yang berlangsung selama 2 hari tanggal 7-8 Desember 2016 ini diadakan di Auditorium Gedung BPPT 1 Jl. M. H. Thamrin No. 8 Kb. Sirih, Menteng, Jakarta Pusat.

Konferensi Bigdata Indonesia 2016 turut mengundang narasumber-narasumber yang ahli di bidangnya, seperti Prof. Drs. H. Muhammad Nasir, M.Si, Ak, Ph.D, CA – Menteri Riset Teknologi dan Pendidikan Tinggi Republik Indonesia, Rudiantara – Menteri Komunikasi dan Informatika Republik Indonesia, Beno Kunto Pradekso – CEO SOLUSI247, Komang Aryasa – Deputy Research and Big Data PT. Telekomunikasi Indonesia, Ainun Najib – Head of Data at Traveloka, Aldila Septiadi SE, Msc, - Digital and Data Analytic Manager of Danone dan masih banyak lagi.

Sebagai sponsor utama yang berdampingan dengan IBM, SOLUSI247 mengirimkan narasumber-narasumber ahli seperti Beno Kunto Pradekso – CEO SOLUSI247, Aria Rahendra – Chief Marketing Officer SOLUSI247, Mugi Prayitno – Chief of Architect SOLUSI247, Imam Turmudzi - Big Data Project Manager SOLUSI247 dan Dolants - Product Development Manager Labs247.

Mengangkat tema “Leveraging National Capacities and Capabilities”, Konferensi Bigdata Indonesia 2016 mampu mempertemukan para praktisi, penggiat, dan pengguna Big Data di Indonesia.


 

Bertemu

KBI 2016 merupakan ajang bertemunya para ahli, peneliti, praktisi dan peminat big data di Indonesia. Mengumpulkan lebih dari 30 pembicara dari industri, instansi pemerintah, lembaga penelitian dan universitas-universitas terkemuka di Indonesia, dan lebih dari 400 peserta dari berbagai latar belakang dan keahlian, dengan satu kesamaan, yaitu ketertarikan terhadap teknologi big data, pengembangan dan pemanfaatannya.

Bersinergi

Dengan latar belakang peserta dan pembicara yang beragam, KBI 2016 merupakan kesempatan untuk memadukan pengalaman yang luas, pengetahuan, dasar teori yang mendalam, dan visi ke depan yang bertujuan untuk kemajuan dan kemandirian bangsa. KBI 2016 khususnya, dan idBigdata pada umumnya, diharapkan menjadi titik temu berbagai kalangan untuk menjalin kerja sama dan bersinergi dalam pengembangan dan pemanfaatan big data.

Berinovasi

Dengan terjalinnya kerja sama yang baik dari kalangan dengan latar belakang yang beragam tersebut diharapkan terlahir karya- karya inovatif di bidang big data, yang dapat bermanfaat bagi kemajuan industri dan kesejahteraan masyarakat Indonesia.


 

Pentingnya Big Data untuk Indonesia Dibahas di Event Data Science Days

Telkom University menggelar acara DSD atau Data Science Days yang diselenggarakan di Gedung C Fakultas Ekonomi dan Bisnis Telkom University-Bandung pada hari Kamis, 10 November 2016. Dalam kegiatan tersebut, Telkom University menggandeng pembicara-pembicara yang handal dibidangnya salah satunya yaitu Bpk. Beno K. Pradekso yang tidak lain adalah CEO dari SOLUSI247.

Dalam pembahasannya, beliau mengangkat tema “Big Data for Better Indonesia”. Beliau menjelaskan secara gamblang betapa pentingnya teknologi Big Data untuk kemajuan bangsa Indonesia. “Big data itu dikategorisasi menjadi 3 (tiga) problems, yaitu pertama adalah volume data yang sangat besar, kedua tipe datanya yang berbeda-beda, kemudian yang ketiga adalah datangnya data yang sekarang ini mendekati realtime, atau near-realtime.” Ungkap beliau.

Kedatangan data yang near realtime tersebut menjadi tantangan bagaimana kita mengolah data tersebut menjadi sebuah informasi yang berguna. “Periode yang sebelumnya, data yang datang itu file-base, kita terima dalam bentuk file kemudian kita olah. Tapi sekarang semua data yang datang dari sensor yang ada, harus kita respon secara instan atau mendekati realtime.” tambah beliau.

Beno K. Pradekso: Big Data for Better Indonesia

Beliau menjelaskan, tidak hanya perusahaan telco yang menjadi data source. Perusahaan yang bergerak dibidang perbankan dan government seperti pajak dan BPJS juga termasuk perusahaan lain yang menjadi data source, dimana perusahaan-perusahaan tersebut membutuhkan pengolahan data yang cepat. Beliau juga menyebutkan beberapa produk pengolahan big data diantaranya adalah H-Grid atau Hadoop Grid, Braja Appliance, Yava dan lain-lain. Produk-produk tersebut adalah produk asli garapan anak bangsa (local products).

Data Science Days ini berlangsung selama 2 hari. Hari pertama dilaksanakan pada hari Rabu, 09 November 2016 berisi workshop, hari kedua yaitu pada hari Kamis, 10 November 2016 berisi seminar. Kegiatan ini dimulai pukul 09.30 WIB dan berakhir pada pukul 15.30 WIB.

Pada akhir acara ini, terdapat juga Deklarasi ADSI atau Asosiasi Data Science Indonesia. Solusi247 mengirim Bagus Rully Muttaqien dan Bpk. Mugi Prayitno sebagai deklarator

Workshop Big Data di Universitas Hasanuddin Gowa, Makassar

Selasa, 27 September 2016 waktu Makassar, SOLUSI247 mengadakan workshop mengenai Big Data di Universitas Hasanuddin, Gowa, Makassar. Workshop yang diberikan oleh SOLUSI247 ini membahas tentang produk Chanthel – Document Management System, HGrid247 for Hadoop Processing, tentu saja berkaitan dengan Big Data.

Dijelaskan disini, Chanthel adalah Document Management System garapan SOLUSI247 yang dimana Chanthel ini berfungsi sebagai sistem yang digunakan untuk mengelola dokumen di setiap file cycle dokumen tersebut. Chanthel menghandle dokumen secara elektronik, mulai dari dokumen tersebut masih dalam bentuk draft, di review, di publish, disimpan, lalu sampai pada akhirnya dokumen tersebut dibuang atau dihancurkan. Chanthel digarap oleh SOLUSI247 Yogyakarta yang di ketuai oleh Bpk. Arief Dolant.

Sementara untuk HGrid247 atau lengkapnya Hadoop Grid 247 adalah tools untuk pengolahan Big Data (Big Data Processing). Hadoop Grid 247 ini dirancang oleh Bpk. Solechoel Arifin yang merupakan HGrid247 Lead Developer dari SOLUSI247. HGrid247 digunakan untuk proses ETL (Extraction, Transformation, Loading). Proses ETL ini merupakan proses yang harus dilalui dalam pembentukan data warehouse.

whatsapp-image-2016-09-27-at-3-43-54-pm

Selain Bpk. Arief Dolant dan Bpk. Solechoel Arifin, SOLUSI247 juga mengirim beberapa perwakilan untuk menghadiri workshop ini, diantaranya adalah Bpk. Beno K. Pradekso, Bpk. Sigit Prasetyo, Bpk. Hery Setiawan, serta Bpk. Kokok Riyanto.

Workshop Big Data ini merupakan kerjasama antara SOLUSI247, Unversitas Hasanuddin – Gowa, Makassar Fakultas Teknik Elektro jurusan Teknik Informatika dan IdBigData.

Labs247: BigData for Bioinformatics

Apa itu Bioinformatics?

Bioinformatics adalah ilmu yang mempelajari atau penerapan tehnik komputasional untuk mengelola dan menganalisis informasi biologis. Bidang ini mencakup penerapan metode-metode matematika, statistika, dan informatika untuk memecahkan masalah-masalah biologis, terutama dengan menggunakan sekuens DNA dan asam amino serta informasi yang berkaitan dengannya. Contoh topik utama bidang ini meliputi basis data untuk mengelola informasi biologis. penyejajaran sekuens (sequence alignment), prediksi struktur untuk meramalkan bentuk struktur protein maupun struktur sekunder RNA, analisis filogenetik, dan analisis ekspresi gen.

Singkatnya, penggabungan gen atau sel tidak lagi dilakukan secara manual melainkan bisa dilakukan secara digital.

Forum Riset Life Science Nasional

Rabu – Kamis, 24-25 Agustus 2016, Labs247 dari PT. Dua Empat Tujuh mengirim beberapa perwakilan yaitu Bpk. Solechoel Arifin, Bagus Rully Muttaqien dan Gaidha N. Annisa untuk mengikuti IT Showcase Forum Riset Life Science 

Nasional 2016  atau biasa disebut FRLN2016 di Sheraton Grand Jakarta Gandaria City, Jalan Sultan Iskandar Muda, Jakarta Selatan, bertajuk “Tantanngan Menuju Kemandirian Riset Nasional” yang diselenggarakan oleh Kementrian Riset Teknologi dan Pendidikan Tinggi Republik Indonesia, Kementrian Kesehatan, Biofarma dan HAKTEKNAS.

BIG DATA FOR BIOINFORMATICS

Munculnya data set besar dalam pengaturan klinis menyajikan tantangan dan peluang dalam penyimpanan data dan analisis. Hal ini disebut dengan “Big Data”. Kemajuan teknologi informasi dan komunikasi menyajikan solusi yang paling layak untuk analisis big data dalam hal efisiensi dan skalabilitas.

Kerangka pemrograman MapReduce menggunakan dua tugas umum dalam pemrograman fungsional, Map dan Reduce. MapReduce adalah kerangka pemrosesan parallel baru dan hadoop adalah implementasi open-source pada node komputasi tunggal atau cluster. Penggunaan MapReduce dan Hadoop memiliki keuntungan antara lain;

  1. Penyimpanan toleran sehingga pengolahan data yang dapat diandalkan dengan mereplikasi tugas komputasi dan cloning potongan data yang berbeda komputasi node di cluster komputasi.
  2. Pengolahan data high-throughput dan Hadoop Distributed File System (HDFS). Data disimpan dalam HDFS dan dibuat tersedia di slave node dan digunakan untuk perhitungan.

Contoh singkatnya adalah jika dulu dalam penggabungan gen atau sel harus dilakukan di super computer yang ukurannya sangat besar dan dengan harga yang tinggi (high-cost), hal itu tidak diperlukan lagi di era ini.

Saat ini kita memiliki teknologi big data. Jadi, proses penggabungan gen atau sel itu bisa dilakukan secara digital di atas big data dan tentunya low-cost. Proses pengolahan data ini memerlukan tools yang disebut Hadoop. Labs247 (Solusi247) sendiri memiliki teknologi tersebut yang dinamakan Hadoop Grid (HGrid247)

Contoh lain adalah, “Jika ada suatu penyakit baru yang belum diketahui, dengan teknologi big data ini, kita dapat langsung mengidentifikasi dengan cara mencocokan gejala-gejala penyakit tersebut dengan data-data yang sudah tersedia di bank data." Ujar Pak Arifin.

Big Data Developer Training Solusi247

Solusi247 kembali mengadakan BIG DATA Developer Training yang diikuti oleh para aktifis Big Data. Training ini dilaksanakan selama 5 hari mulai tanggal 22-26 Agustus 2016 silam, di Grand Royal Hotel, Bogor. Kegiatan ini berisi tentang pelatihan pengolahan data menggunakan framework big data yang di sampaikan oleh Bpk. Solechoel Arifin selaku HGrid Lead Developer SOLUSI247.

“Pelatihan ini meliputi konsep big data, bagaimana penyimpanan big data, bagaimana big data memproses data-data yang tersimpan di dalam framework big data. Kemudian dilanjutkan dengan pelatihan tentang tools untuk pemrosesan big data yang kita sebut HGrid247. HGrid247 ini adalah produk ETL untuk big data milik PT. Dua Empat Tujuh (SOLUSI247).” Jelas Pak Arifin ketika di wawancarai.

HGrid247 atau Hadoop Grid 247 ini adalah tools untuk pemrosesan big data dari Solusi247 yang digarap sendiri oleh beliau. Kegiatan training ini diikuti oleh peserta dari BIG (Badan Informasi Geospasial), hadir pula Bpk. Dr.-Ing Khafid selaku Kepala Pusat Pengelola dan Penyebarluasan Informasi Geospasial, Bpk. Beno K. Pradekso (CEO SOLUSI247) serta Bpk. Aria Rahendra (CMO SOLUSI247).

Spark 2.0.0 – Kecepatan dan Kemudahan dalam Kemasan Simple

Databrick akhirnya mengumumkan release Spark 2.0.0 pada 26 Juli 2016. Dua bulan sebelumnya mereka melansir preview-release untuk memberikan kesempatan para penggunanya bereksperimen dan memberikan feedback mengenai fitur-fitur baru Spark.

Release Spark versi 2.0.0 merupakan momen yang ditunggu-tunggu karena menjanjikan banyak kemajuan di sisi fitur dan performance, dan juga mencakup 2500 patches dari 300 lebih kontributor.

Beberapa hal yang dijanjikan oleh Spark 2.0.0 adalah :

apache spark20 technical preview

Lebih Mudah :

Support ANSI SQL dan API yang disederhanakan. Spark berfokus pada dua hal : a) dukungan ANSI SQL dan b) penyederhanaan API. Beberapa hal yang dilakukan pada sisi programming API adalah: menggabungkan API developer dalam library Spark, seperti misalnya antara DataFrames dan Datasets, serta SQLContext dan HiveContext. API berbasis dataFrame dengan “pipeline” API-nya akan menjadi package utama dari API machine learning. Meskipun library yang lama tetap dipertahankan untuk backward compatibility, fokus di masa depan akan lebih pada pengembangan API berbasis DataFrame. User dapat menyimpan dan me-load pipeline dan model machine learning dalam berbagai bahasa pemrograman yang disupport oleh Spark. Support tambahan untuk R, yaitu : Algoritma terdistribusi untuk Generalized Linear Models (GLM), Naive Bayes, Survival Regression, and K-Means Mendukung UDF (user defined function) untuk dapat dijalankan di level partisi (dapply & gapply) serta tuning hyper-parameter (lapply)

Lebih Cepat :

Peningkatan kecepatan 5 sampai 10 kali daripada Spark 1.6 untuk beberapa operator, sebagai hasil dari project Tungsten Fase 2 yang mencakup whole stage code generation dan optimisasi code Catalyst.

Lebih Cerdas :

Streaming terstruktur, yaitu menggabungkan berbagai macam komponen komputasi Spark yang mendukung komputasi streaming untuk menghasilkan aplikasi yang berkesinambungan. Selama ini pemrosesan streaming sering dinilai sebagai titik lemah dari Spark, dan Spark 2.0.0 bertujuan untuk mengatasi hal ini. Ada beberapa perbaikan yang dilakukan dalam Spark 2.0, di antaranya:

  • Intergrasi streaming API dengan batch job
  • Interaksi transaksional dengan storage system
  • Integrasi dengan komponen komputasi lain melalui Spark SQL, penggabungan dengan data statis, dan library yang sudah menggunakan DataFrame. Target selanjutnya adalah integrasi dengan MLlib dan library-library lain.