FI Spark2.0

Spark 2.0.0 – Kecepatan dan Kemudahan dalam Kemasan Simple

Databrick akhirnya mengumumkan release Spark 2.0.0 pada 26 Juli 2016. Dua bulan sebelumnya mereka melansir preview-release untuk memberikan kesempatan para penggunanya bereksperimen dan memberikan feedback mengenai fitur-fitur baru Spark.

Release Spark versi 2.0.0 merupakan momen yang ditunggu-tunggu karena menjanjikan banyak kemajuan di sisi fitur dan performance, dan juga mencakup 2500 patches dari 300 lebih kontributor.

Beberapa hal yang dijanjikan oleh Spark 2.0.0 adalah :

apache spark20 technical preview

Lebih Mudah :

Support ANSI SQL dan API yang disederhanakan. Spark berfokus pada dua hal : a) dukungan ANSI SQL dan b) penyederhanaan API. Beberapa hal yang dilakukan pada sisi programming API adalah: menggabungkan API developer dalam library Spark, seperti misalnya antara DataFrames dan Datasets, serta SQLContext dan HiveContext. API berbasis dataFrame dengan “pipeline” API-nya akan menjadi package utama dari API machine learning. Meskipun library yang lama tetap dipertahankan untuk backward compatibility, fokus di masa depan akan lebih pada pengembangan API berbasis DataFrame. User dapat menyimpan dan me-load pipeline dan model machine learning dalam berbagai bahasa pemrograman yang disupport oleh Spark. Support tambahan untuk R, yaitu : Algoritma terdistribusi untuk Generalized Linear Models (GLM), Naive Bayes, Survival Regression, and K-Means Mendukung UDF (user defined function) untuk dapat dijalankan di level partisi (dapply & gapply) serta tuning hyper-parameter (lapply)

Lebih Cepat :

Peningkatan kecepatan 5 sampai 10 kali daripada Spark 1.6 untuk beberapa operator, sebagai hasil dari project Tungsten Fase 2 yang mencakup whole stage code generation dan optimisasi code Catalyst.

Lebih Cerdas :

Streaming terstruktur, yaitu menggabungkan berbagai macam komponen komputasi Spark yang mendukung komputasi streaming untuk menghasilkan aplikasi yang berkesinambungan. Selama ini pemrosesan streaming sering dinilai sebagai titik lemah dari Spark, dan Spark 2.0.0 bertujuan untuk mengatasi hal ini. Ada beberapa perbaikan yang dilakukan dalam Spark 2.0, di antaranya:

  • Intergrasi streaming API dengan batch job
  • Interaksi transaksional dengan storage system
  • Integrasi dengan komponen komputasi lain melalui Spark SQL, penggabungan dengan data statis, dan library yang sudah menggunakan DataFrame. Target selanjutnya adalah integrasi dengan MLlib dan library-library lain.
FI NYPD

Big Data Membantu NYPD Menangani Kejahatan Dengan Lebih Cepat

Pada tanggal 4 Desember 2015, petugas NYPD di kantor polisi 73 New York menerima peringatan pada ponsel mereka dari sistem baru mereka, Shot-spotter : Delapan tembakan telah dilepaskan di dekat 409 Saratoga Avenue di kawasan Bedford-Stuyvesant, Brooklyn.

Kejadian selanjutnya menunjukkan seberapa jauh teknologi dapat berperan dalam membantu tugas polisi.

Polisi menemukan selongsong peluru di atap gedung, kemudian dengan menggunakan ponsel mereka, mengetahui ada sebuah surat perintah penangkapan yang belum dieksekusi untuk seorang wanita di gedung tersebut. Mereka kemudian mendapat surat perintah penggeledahan untuk apartement wanita tersebut melalui ponsel mereka, di mana mereka menemukan dua senjata, dan menangkap tiga orang tersangka.

Para petugas NYPD berhasil melaksanakan tugasnya dengan cepat berkat bantuan sistem kesadaran situasional / Situational Awareness System, yang disebut dengan DAS (Domain Awareness System).

Ide mengenai kesadaran situasional atau situational awareness ini bukanlah sesuatu yang baru. Setiap individu maupun organisasi idealnya dapat menyesuaikan perilaku dan tindakan mereka dengan situasi yang ada. Dan seiring dengan perkembangan teknologi sensor dan sinyal, semakin besar kebutuhan untuk dapat mengumpulkan data dari dunia luar ke dalam sebuah sistem untuk melakukan monitoring dan analisis. Mengetahui apa yang terjadi di domain yang relevan di dunia luar merupakan sesuatu yang penting dan semakin menjadi kebutuhan banyak pihak.

Salah satu pihak yang tampaknya paling berkepentingan terhadap hal ini adalah organisasi di sektor publik. Kepolisian New York (NYPD), pemerintah kota Chicago, dan juga sebuah grup yang terdiri dari instansi-instansi pemerintah di Kanada adalah beberapa pihak yang telah mengembangkan dan memanfaatkan sistem kesadaran situasional. Salah satu hal yang dipelajari dari pengalaman mereka membangun sistem SA adalah, semakin terarah target sistemnya, semakin baik hasilnya.

MASAS, atau Multi-Agency Situational Awareness System, yang dikelola oleh Canadian Public Safety Operations Organizations (CanOps), dimaksudkan untuk memonitor dan menampilkan informasi yang relevan dengan keamanan publik. MASAS mencakup informasi mengenai kebakaran, gempa bumi, cuaca buruk, masalah lalulintas, kerusakan jalan, kerumunan massa, lokasi dan status shelter, perbatasan, dan lain sebagainya.

Cakupan luas dari MASAS ini sebetulnya bertujuan baik, namun hal ini sepertinya membatasi value dari sistemnya sendiri. Misalnya seperti disebutkan pada website mereka, karena instansi-instansi enggan untuk berbagi informasi sensitif dengan instansi lain, maka informasi yang di-share adalah informasi yang tidak sensitif (yang akhirnya juga tidak terlalu bermanfaat).

Chicago termasuk kota pertama yang mengadopsi sistem SA pada tahun 2012. Sistem yang dinamakan WindyGrid ini adalah sistem informasi geografis yang menyajikan gambaran terpadu dari pengoperasian kota di atas peta Chicago, yang memberikan akses ke seluruh data spasial kota, baik secara historikal maupun real time.

WindyGrid mencakup informasi mengenai layanan panggilan 911 dan 311, lokasi aset transit dan mobile, status bangunan, tweets berdasarkan lokasi geografis, dan lain sebagainya. Sistem ini hanya berfokus pada data spasial, sehingga cakupannya lebih sempit daripada sistem di Kanada. Sebenarnya yang lebih dibutuhkan oleh Chicago adalah sistem yang berfokus pada penangangan kejahatan. Karena WindyGrid dibangun atas prakarsa CIO kota Chicago, maka sistem ini cenderung didasari oleh kebutuhan efisiensi informasi dibandingkan prioritas strategis.

Pencegahan kejahatan dan terorisme menjadi prioritas dari sistem DAS yang dimiliki NYPD. Sistem ini pada awalnya dikembangkan oleh biro kontraterorisme, dan saat ini digunakan secara luas dalam tugas harian kepolisian. DAS mengumpulkan dan menganalisa data dari berbagai sensor -termasuk 9000 kamera CCTV, 500 kamera pembaca plat nomor, 600 sensor radiasi dan kimia, dan jaringan detektor untuk mendeteksi suara tembakan yang menjangkau 24 mil persegi, dan 54 juta panggilan ke 911 dari masyarakat. Sistem ini juga dapat menarik data dari arsip kejahatan NYPD, termasuk 100 juta surat pemanggilan.

Project DAS dimulai pada tahun 2008 dan terus dikembangkan hingga saat ini. Pada tahun 2010 ditambahkan fungsi analytics, dan pada 2011 ditambahkan kemampuan pengenalan pola. Pada tahun 2014 mulai dikembangkan fungsi “predictive policing” , dan pada tahun 2015 petugas kepolisian dapat memperoleh informasi 911 secara real-time.

Antarmuka utama dengan sistem adalah smartphone, yang saat ini digunakan oleh 35.000 anggota NYPD. Lebih dari 10.000 polisi menggunakan DAS setiap harinya. Sistem ini disebut sebagai ‘keajaiban teknologi’, yang lahir dari kepemimpinan dan prioritas yang kuat.

Terfokusnya SA yang dimiliki NYPD merupakan kunci kesuksesan sistem ini. Tingkat kejahatan di kota New York semakin menurun (saat ini di bawah rata-rata nasional US), dan tingkat penyelesaian kasus pembunuhan meningkat. Tentunya banyak faktor yang menjadi penyebabnya, termasuk di antaranya penggunaan DAS ini, namun salah satu yang paling penting adalah budaya kepolisian yang mengedepankan bukti (evidenced based policing) yang menjadi karakteristik NYPD.

Dari beberapa pengalaman penerapan sistem berbasis kesadaran situasional ini terlihat jelas nilai strategis dari penerapan sebuah sistem berbasis kesadaran situasional. Teknologi yang ada saat ini sangat memungkinkan untuk mengetahui apa yang terjadi di luar, yang mungkin mempengaruhi kesuksesan sebuah organisasi atau perusahaan. Namun mengingat keluasan dan kompleksitas dunia luar itu sendiri, sebaiknya sistem SA dibangun dengan fokus yang jelas, misalnya pada customer, kompetitor, atau regulator. Pada akhirnya yang dituju tentunya adalah pemahaman terhadap situasi secara menyeluruh, namun mulailah dari sesuatu yang spesifik.

Diterjemahkan dari : http://fortune.com/2016/07/17/big-data-nypd-situational-awareness/


Source : ID Big Data – Big Data Membantu NYPD Menangani Kejahatan Dengan Lebih Cepat

FI Heron

Twitter Open Source-kan Heron, Framework Real Time Stream Processing

Satu lagi framework yang bergabung ke dalam ekosistem Big Data Open Source. Meramaikan percaturan dalam pemrosesan Big Data, khususnya real-time streaming data processing, bulan Mei lalu Twitter mengumumkan bahwa mereka meng-open-source-kan Heron, sistem real-time stream processing yang mereka kembangkan untuk menggantikan Apache Storm.

Setelah sebelumnya mengumumkan bahwa mereka mengganti framework pemrosesan real-time streaming mereka dari Storm ke Heron, dan menerbitkan paper mengenai arsitekturnya, baru setahun kemudian publik dapat ikut menggunakan dan mengembangkannya.

Alasan Twitter mengembangkan Heron pada awalnya adalah karena beberapa kesulitan yang mereka hadapi ketika menggunakan Storm, terutama ketika sistem yang mereka deploy sudah sangat besar. Beberapa kesulitan yang dihadapi di antaranya adalah kesulitan dalam hal profiling dan reasoning mengenai Storm worker di tingkat data dan tingkat topologi, alokasi resource yang bersifat statis, tidak adanya dukungan back-pressure, dan lain sebagainya.

Mengapa saat itu Twitter tidak beralih ke Apache Spark streaming atau Apache Flink misalnya, dan justru memutuskan untuk mengembangkan sendiri sistemnya secara internal? Alasan utamanya adalah peralihan framework tersebut akan menyebabkan mereka harus menulis ulang banyak sekali code dari sistem mereka yang sudah sangat besar. Sebab, sebagai pihak yang mengembangkan Storm, Twitter adalah pengguna Apache Storm yang paling lama, jauh sebelum Storm menjadi open source.

Heron didesain sebagai sebuah sistem yang memiliki backward compatibility dengan Apache Storm. Hal ini merupakan sebuah keputusan yang strategis, bukan saja untuk Twitter sendiri, namun juga untuk pengguna yang sudah mengimplementasikan Apache Storm, mereka dapat beralih ke Heron dengan relatif mudah.

Paradigma pemrosesan Heron sangat mirip dengan Apache Storm, di mana dasarnya adalah DAG (Direct Acyclic Diagram) yang disebut topology, dengan komponennya berupa spout dan bolt.

Heron dibangun dengan perubahan mendasar dalam arsitektur streamingnya, dari sistem berbasis thread, menjadi sebuah sistem berbasis proses. Heron juga didesain untuk deployment dalam cluster dengan mengintegrasikannya dengan scheduler open source yang powerful seperti Apache Mesos, Apache Aurora, Apache REEF atau Slurm.

Banyak yang dijanjikan dengan Heron, seperti misalnya 2-5 kali efisiensi, kemudahan dan stabilitas, dan lain sebagainya. Salah satu kelebihan utama Heron adalah sudah dibuktikan dalam skala yang besar di Twitter sendiri, dan kompatibilitasnya dengan Storm sebagai framework yang sudah banyak diimplementasi sebelumnya. Namun apakah masyarakat Big Data akan dengan serta merta mengadopsinya sebagai framework pilihan mereka, masih harus kita lihat bagaimana perkembangannya ke depan. Karena saat ini banyak sekali framework open source untuk pemrosesan streaming yang ada dan berkompetisi untuk menjadi yang terdepan, seperti misalnya Apache Spark, Apache Flink, Apache Samza, Apache Apex, atau bahkan Apache Storm sendiri yang juga telah me-release versi 1.0 dengan banyak perubahan dan perbaikan.

Baca juga : APACHE STORM 1.0 PENINGKATAN PERFORMA DAN SARAT FITUR BARU


Source : ID Big Data

FI CSR

CSR SOLUSI247 – Buka Bersama & Santunan 100 Anak Yatim

Ramadhan adalah bulan mulia dimana dosa-dosa diampuni dan pahala dilipatgandakan, salah satunya dengan memberi kepada sesama. Dalam rangka bulan suci Ramadhan ini, sudah menjadi agenda rutin Solusi247 untuk selalu menyempatkan diri berbuka puasa bersama dengan anak-anak yatim yang biasa disebut dengan CSR Solusi247 atau tanggung jawab sosial perusahaan. Kegiatan kali ini diselenggarakan di Pesantren Al-Quran Al-Hidayah Yayasan Hidayatul Islam, Balekambang, Condet, Jakarta Timur, yang diikuti oleh sekitar 100 anak-anak yatim yang dilaksanakan pada hari Rabu, 15 Juni 2016.

CSR (Corporate Social Responsibility) Solusi247 berisi kegiatan siraman rohani oleh Ustad Masyudi, pembacaan ayat-ayat suci Al-Qur'an, santunan 100 anak yatim, buka puasa bersama, shalat maghrib berjama'ah dan diakhiri dengan shalat tarawih berjama'ah. Kegiatan CSR Solusi247 ini tentu saja bertujuan untuk menjalin silaturahmi dan berbagi rezeki kepada sesama umat muslim yang membutuhkan. Kegiatan yang dimulai dari pukul 16.00 WIB berakhir pada pukul 20.30 WIB.

FI INTEL

Braja Appliance di INTEL IoT Conference 2016

Jakarta, Selasa, 14 Juni 2016.

       Solusi247 mengikuti event tahunan yang diselenggarakan oleh INTEL yang bertemakan INTEL IoT SOLUTIONS CONFERENCE 2016. Ini adalah kali ketiga Solusi247 mengikuti event tersebut. Solusi247 diminta untuk mengikuti showcase pada acara tersebut. Showcase yang dipamerkan Solusi247 pada event ini adalah Braja Appliance, Braja Appliance, dimana Braja tersebut menggunakan processor INTEL dalam setiap nodes server-nya.

       Braja Big data Appliance adalah solusi Big Data terpadu yang bertujuan untuk mempermudah dan mempercepat adopsi Big Data dalam suatu organisasi. Hal ini dirancang untuk memenuhi kebutuhan dalam mengolah data yang sangat besar dan kompleks di mana aplikasi pengolah data umum saja tidak cukup. Dengan mengintegrasikan berbagai kerangka kerja Big Data dan komponen ke dalam satu produk. Braja adalah infrastruktur Big Data yang terjangkau dan sangat terukur untuk bisnis Anda.

       Internet of Things (IoT) memacu inovasi di hampir semua segi kehidupan kita. Dengan menghubungkan “benda” yang belum pernah dihubungkan sebelumnya, akan tercipta pengetahuan data baru yang melahirkan perubahan berharga. Namun, ada hambatan yang memperlambat penerapan IoT.

       Antusias peserta sangat besar saat mengunjungi booth dari Solusi247. Hal ini dikarenakan Braja sangat mendukung pengolahan big data dimana teknologi big data diperkirakan akan menjadi fenomenal di tahun 2018 nanti.

       Perwakilan dari Solusi247 dalam event tahunan INTEL ini diantaranya Bpk. S. Arifin, Bagus Rully Muttaqien, dan Sigit Prasetyo. Peserta yang berpartisipasi dalam acara ini tidak lain adalah government serta perusahaan yang bergerak di industri IT.

FI ApacheStorm

Apache Storm 1.0 Peningkatan Performa dan Sarat Fitur Baru

Pada tanggal 12 April lalu versi terbaru dari Apache Storm dirilis. Taylor Goetz, VP Apache Software Foundation untuk project Apache Storm, menyatakan bahwa versi 1.0 ini merupakan sebuah titik yang penting dalam evolusi Apache Storm. Versi terbaru ini mengandung sejumlah besar fitur baru dan perbaikan kinerja.

Storm merupakan sebuah event processor yang memungkinkan dilakukannya proses data streaming secara terdistribusi. Aplikasi Storm terdiri dari komponen yang disebut dengan “spout” dan “bolt”, yang dikonfigurasi dalam sebuah Direct Acyclic Graph untuk merepresentasikan pemrosesan data. Ciri utama dari Storm adalah kemampuan untuk melakukan proses data secara real time.

Apache Storm versi 1.0 memiliki peningkatan performa yang cukup dramatis bahkan diklaim hingga 16 kali lebih cepat dari versi sebelumnya dengan pengurangan latensi hingga 60%. Selain performa ada beberapa fitur yang patut menjadi perhatian, diantaranya :

  1. Pacemaker, heartbeat daemon yang memiliki performa lebih baik dari Zookeeper
  2. Distributed Cache API, yang memungkinkan berbagi file antar topology
  3. High Availability Nimbus, mengatasi permasalahan single point of failure pada Nimbus proses
  4. Streaming Window API, yang menambahkan dukungan terhadap parameter window length dan sliding interval
  5. Automatic Backpressure, yang memungkinkan memperlambat spout secara otomatis ketika ambang batas dari ukuran task buffer terlampaui
  6. Resources Aware Scheduler, implementasi scheduler baru yang menggunakan ketersediaan memory dan CPU sebagai dasar untuk pengaturan task kepada worker
  7. Dynamic Worker Profiling, fitur baru ini memungkinkan pengguna untuk melihat data profile dari worker langsung dari Storm UI

Apache Storm 1.0 ini dapat didownload pada laman https://storm.apache.org/releases.html


Source : IDBigData

FI UAI2016

Solusi247 Berpartisipasi Dalam Event IT FEST UAI 2016

Himpunan Mahasiswa Teknik Informasi  Universitas Al Azhar Indonesia (HMIF UAI) mengadakan IT Fest 2016  dengan tema “FUTURE (Fantastic and Unpredictable Technology for Humans Future Life)”. Acara yang diadakan selama empat hari (Senin 25/04/16sampai  Kamis 28/04/16) merupakan wujud kepedulian nyata dari HMIF UAI dalam memberikan wawasan tentang perkembangan informasi Teknologi untuk Manusia di masa akan datang.

uai2

IT FES UAI 2016 diselenggarakan di Universitas Al-Azhar Indonesia, Komplek Masjid Agung Al-Azhar,Jl. Singsing

amangaraja , Kebayoran Baru, Jakarta Selatan. Acara ini berisi acara seminar, workshop, perlombaan dan bazaar yang di buka untuk umum. IT Fest 2016 ini juga mengundang para wirausahwan muda untuk ikut meramaikan stand bazaar yang diadakan di lobby UAI. Solusi247 menjadi salah satu sponsor dalam penyelenggaraan event ini.

uai6

Seminar di IT FEST UAI 2016 yang berlangsung selama 2 hari pada tanggal 27-28 April 2016 tersebut diisi oleh pembicara-pembicara profesional seperti:

(Day 1) Rabu, 27 April 2016
1. Overlocking Team dengan topik “Update Technology“.
2. Arief (Kaspersky Indonesia) dengan topik “PC & Internet Security“.

(Day 2) Kamis, 28 April 2016
3. Beno Kunto Pradekso (CEO of Solusi 247) dengan topik “The Future of Big Data on Cloud Technology“.
4. Yasser Hadiputra (CEO of CISO Magazine) dengan topik “Importance of Information Security in Bussiness“.

uai7

Disamping para pembicara yang berkompeten dibidangnya masing-masing, hadir pula Rektor Bapak Dr. Ir. Ahmad H. Lubis, M.Sc., Wakil Rektor II Bapak Dr. Ir. Ade Jamal, Ka. Program Studi Teknik Informatika UAI Ibu Ir. Winangsari Pradani, MT., Mahasiswa UAI dan para peserta lomba dari SMA & SMK.


Sumber :

IT Fest UAI 1

IT Fest UAI 2

banner15

Challenges For The Biomedical Industry In Terms Of Big Data

Tantangan Industri Biomedis untuk Big Data

Lahirnya Next-Generation Sequencing (NGS) berakibat pada pertumbuhan data genomic secara eksponensial. NGS berhasil memangkas waktu dan biaya yang dibutuhkan untuk melakukan sequencing sebuah genom secara drastis. Biaya sequencing turun secara signifikan dari sekitar US$100M pada tahun 2001 menjadi sekitar US$1000 di tahun 2015. Sebuah studi kasus diagnostik genom http://www.genomemedicine.com/content/7/1/100?utm_source=datafloq&utm_medium=ref&utm_campaign=datafloq pada tahun 2015 menunjukkan bahwa waktu yang diperlukan untuk melakukan whole genome sequencing, analisis dan diagnosis penyakit genetik pada bayi yang sakit berat adalah 26 jam.

8-challenge_04

Apakah perpaduan teknologi antara industri biomedis dan big data akan dapat mendukung perkembangan data genomics di masa datang? Berikut adalah beberapa hambatan dan tantangan yang dihadapi dalam perkembangan pemanfaatan data genomics :

  • Meskipun biaya sequencing dan storage sudah relatif rendah, namun biaya komputasi terutama dari sisi infrastruktur masih relatif tinggi. Cloud computing dapat menjadi solusi terhadap kebutuhan komputasi, namun transfer data genomics yang sangat besar dari mesin sequencing ke cloud dapat menjadi tantangan tersendiri.
  • Privasi data genomics juga menjadi sebuah isu, karena penggunaan dan penyebaran (sharing) data tersebut tidak dapat diprediksi. Meskipun data dikumpulkan secara anonimus, masih ada kemungkinan re-identifikasi sehingga menjadi peluang timbulnya pelanggaran privasi.
  • Interoperabilitas antar database genomics maupun dengan sistem medis lainnya (misalnya Electronic Medical Records atau EMR) menjadi tantangan lain yang harus diatasi agar proyek-proyek kolaborasi semacam 100.000 Genome Project (http://www.genomicsengland.co.uk/the-100000-genomes-project/?utm_source=datafloq&utm_medium=ref&utm_campaign=datafloq) dapat memberikan manfaat yang sebesar-besarnya bagi masyarakat maupun pasien yang membutuhkan.
  • Nilai tambah yang ditawarkan oleh bidang translational genomics kepada industri biomedis mungkin tidak langsung terlihat hasilnya. Biaya yang harus dikeluarkan oleh sebuah organisasi untuk menyimpan dan mengolah data genomics mungkin tidak bisa memberikan keuntungan finansial dalam jangka pendek. Hal ini dapat menyurutkan keinginan untuk berinvestasi di bidang ini. Namun, pengetahuan yang didapat dari proyek-proyek yang bersifat riset dapat memberi manfaat yang sangat besar bagi masyarakat maupun bagi pengembangan produk mereka sendiri. Penyedia solusi big data yang mendukung platform big data di bidang genomics akan dapat memperoleh keuntungan dengan menyediakan jasa penyimpanan, pemrosesan dan analisis data.

Perusahaan seperti AWS, Oracle dan Google menempatkan diri sebagai pemain kunci dalam penyediaan infrastruktur komputasional di bidang biomedis dengan menyediakan infrastruktur bagi penyimpanan dan analisis data genomics. Mereka menyadari potensi nilai yang didapat dari penyediaan platform untuk riset genomics.

Dengan semakin menurunnya biaya sequencing dan dengan dimungkinkannya sequencing dalam skala besar, kita dapat menyaksikan pergeseran dari pengobatan reaksioner (mengobati setelah timbulnya penyakit) menjadi pengobatan prediktif dan proaktif. Database genomics yang besar memungkinkan dilakukannya riset untuk lebih memahami dasar-dasar genetik pada bermacam-macam penyakit.

Pengetahuan ini akan mendorong pengembangan obat-obatan dan terapi yang lebih terarah dan bersifat preventif, dan juga memungkinkan pengembangan alat interpretasi genomics secara individual untuk keperluan konseling bagi individu untuk mencegah kemungkinan munculnya penyakit atau kondisi yang berkaitan dengan kecenderungan genetik.


Source :

Id Big data – Challenger For The Biomedical Industry In Terms Of Big Data

FI cebit 16 after

CeBIT 2016: The Event and 247 Products

Menawarkan acara IT dan program konferensi untuk para profesional, CeBIT mendefinisikan tren TI terkini, menghadirkan topik oleh pembicara berkaliber tinggi dan diskusi panel depan, dan menampilkan inovasi produk dari seluruh dunia.

Cdj6lzbUkAEugPL

Di event yang diselenggarakan mulai tanggal 14 dan berakhir pada tanggal 18 Maret 2016 kemarin, Solusi247 ikut berpartisipasi sebagai exhibitor di Konferensi Teknologi CeBIT 2016 dengan memamerkan produk Braja dan Yava.

Perwakilan yang dikirim ke German untuk mengikuti Konferensi Teknologi CeBIT 2016 dari Solusi247 adalah bpk. Ir. Solechoel Arifin, MSc.EE dan bpk. Ir. Joko Suyono, MSc.EE.

Solusi247 berada dikawasan :

Ministry of Industry of the Republic of Indonesia/Dua Empat Tujuh,
PT/SOLUSI247
Deutsche Messe – Hall 003 B01
Messagelande
30521
Hannover – Germany

CdlQamSUEAAQJjE

CdjJZYOUsAErDo3

CdzQJwUUAAAsL0b

CdlQamVVIAAiEfI


Why Using Braja ?

Braja Big Data Appliance is an integrated Big Data solution aims to facilitate and accelerate Big Data adoption in an organization. It is designed to fulfill the need in processing large and complex data in which common data processing application is insufficient. By integrating a variety of Big Data framework and components into a single product, Braja is the affordable and highly scalable Big Data infrastructure for your business.

  • Reliable

Built on Apache Hadoop, with a simple but powerful architecture designed specifically for data reliability in case of disk, node or network errors and failures. It’s designed to scale up from single server to thousands of machines, each delivering local computation and storage.

  • Integrated Systems

Braja is a complete Hadoop Big Data platform with low total cost of ownership. It combines hardware and the comprehensive Yava Hadoop data platform into a fully intergrated and ready to use system, enables you to focus more on your business, not the technology behind it.

  • Fast Support

With a deep experience and know how in implementation and maintenance big data clusters and data warehouse systems, Braja solution and support ensures the delivery of a smoothly operational and running system with maximum application performance.

Braja Products

Power Level

power level

Velocity Level

velocity level

Pilot Level

pilot level

Source :

Braja 247


Yava

Yava Hadoop is a 100% open source compilation of Big Data platform that use of the power of Apache Hadoop ecosystem and designed to help accelerate the adoption of Hadoop implementation and its ecosystem in Indonesia.

With the support from YARN cluster management, Yava provides a wide range of data access and processing capabilities: batch, streaming, interactive and real time in a single cluster.

YAVA_bagan

Source :

Yava 247


 

FI Caffe on spark

Deep Learning on Caffe-on-Spark

Distributed Deep Learning on Spark (Using Yahoo’s Caffe-on-Spark)

Caffe-on-Spark is a result of Yahoo’s early steps in bringing Apache Hadoop ecosystem and deep learning together on the same heterogeneous (GPU+CPU) cluster that may be open sourced depending on interest from the community.

To enable deep learning on these enhanced Hadoop clusters, we developed a comprehensive distributed solution based upon open source software libraries, Apache Spark and Caffe. One can now submit deep learning jobs onto a (Hadoop YARN) cluster of GPU nodes (using spark-submit).
Source :

Yahoo’s Caffe-on-Spark


To enable deep learning, Yahoo added GPU nodes into their Hadoop clusters with each node having 4 Nvidia Tesla K80 cards, each card with two GK210 GPUs. These nodes have 10x processing power than the traditional commodity CPU nodes they generally use in their Hadoop clusters.

GPU

Yahoo has progressively invested in building and scaling Apache Hadoop clusters with a current footprint of more than 40,000 servers and 600 petabytes of storage spread across 19 clusters.

Hadoop clusters are the preferred platform for large-scale machine learning at Yahoo. Deep learning is used in many of Yahoo’s products, such as Flickr’s Magic View feature which automatically tags all user photos, enabling Flickr end users to organize and find photos easily. Read “Picture This: NVIDIA GPUs Sort Through Tens of Millions of Flickr Photos” for more information on the feature.

To enable deep learning on these enhanced clusters, the Yahoo Big Data and Machine Learning team developed a comprehensive distributed solution based upon open source software libraries, Apache Spark and Caffe. Caffe-on-Spark enables multiple GPUs, and multiple machines to be used for deep learning.

Source :

Caffe on Spark for Deep Learning from Yahoo


Is Apache Spark a Good Framework for Implementating Deep Learning?

It Depends.
Yes, if your objectives are one or more of these:

  1. To quickly implement some aspect of DL using existing/emerging libraries, and you already have a Spark cluster handy. In that case, consider, e.g. guoding83128/OpenDL, Lightning-Fast Deep Learning on Spark, Implementing a Distributed Deep Learning Network over Spark
  2. To experiment with developing different ideas for distributed DL, e.g., variations on Downpour SGD or Parameter Server without having to learn a strange new compute model like CUDA.
  3. To experiment with potentially interesting architectures, e.g., using Spark CPUs to drive GPU coprocessors in a distributed context.
  4. For some situational reasons, your need to horizontally scale your huge dataset is only satisfiable with a Spark cluster and not, e.g., a single-chassis GPU box.
  5. Generally speaking, absolute speed (relative to other available approaches like GPU) is not the main concern.
  6. Etc.


No, if your objectives are one or more of (here the scenarios are biased toward situations that warrant GPU-based implementations):

  1. You want the optimal high performance/programming flexibility sweet spot of GPUs and can learn/already know CUDA / Caffe | Deep Learning Framework
  2. You don’t have a particular affinity for Spark/Java/Scala/Python and prefer to invest your time/effort in what is becoming the current dominant architectures for DL implementations (GPU/CUDA).
  3. You want to push the envelope even further (perhaps for not very good today-relevant reasons ) and go to FGPAs/ASICs and are willing to give up the flexibility of CPUs/GPUs.
  4. You want to work on leading-edge R&D and produce amazing refereed-journal results (e.g., “4 GPU DNN Beats Google’s 14,000-Machine Brain At Recognizing Cats and Jennifer Aniston”) on the most energy/cost efficient platforms today.
  5. Etc.

Source :

Apache Spark for Implementating Deep Learning