Category Archives: Big Data Indonesia

Big Data Membantu NYPD Menangani Kejahatan Dengan Lebih Cepat

Pada tanggal 4 Desember 2015, petugas NYPD di kantor polisi 73 New York menerima peringatan pada ponsel mereka dari sistem baru mereka, Shot-spotter : Delapan tembakan telah dilepaskan di dekat 409 Saratoga Avenue di kawasan Bedford-Stuyvesant, Brooklyn.

Kejadian selanjutnya menunjukkan seberapa jauh teknologi dapat berperan dalam membantu tugas polisi.

Polisi menemukan selongsong peluru di atap gedung, kemudian dengan menggunakan ponsel mereka, mengetahui ada sebuah surat perintah penangkapan yang belum dieksekusi untuk seorang wanita di gedung tersebut. Mereka kemudian mendapat surat perintah penggeledahan untuk apartement wanita tersebut melalui ponsel mereka, di mana mereka menemukan dua senjata, dan menangkap tiga orang tersangka.

Para petugas NYPD berhasil melaksanakan tugasnya dengan cepat berkat bantuan sistem kesadaran situasional / Situational Awareness System, yang disebut dengan DAS (Domain Awareness System).

Ide mengenai kesadaran situasional atau situational awareness ini bukanlah sesuatu yang baru. Setiap individu maupun organisasi idealnya dapat menyesuaikan perilaku dan tindakan mereka dengan situasi yang ada. Dan seiring dengan perkembangan teknologi sensor dan sinyal, semakin besar kebutuhan untuk dapat mengumpulkan data dari dunia luar ke dalam sebuah sistem untuk melakukan monitoring dan analisis. Mengetahui apa yang terjadi di domain yang relevan di dunia luar merupakan sesuatu yang penting dan semakin menjadi kebutuhan banyak pihak.

Salah satu pihak yang tampaknya paling berkepentingan terhadap hal ini adalah organisasi di sektor publik. Kepolisian New York (NYPD), pemerintah kota Chicago, dan juga sebuah grup yang terdiri dari instansi-instansi pemerintah di Kanada adalah beberapa pihak yang telah mengembangkan dan memanfaatkan sistem kesadaran situasional. Salah satu hal yang dipelajari dari pengalaman mereka membangun sistem SA adalah, semakin terarah target sistemnya, semakin baik hasilnya.

MASAS, atau Multi-Agency Situational Awareness System, yang dikelola oleh Canadian Public Safety Operations Organizations (CanOps), dimaksudkan untuk memonitor dan menampilkan informasi yang relevan dengan keamanan publik. MASAS mencakup informasi mengenai kebakaran, gempa bumi, cuaca buruk, masalah lalulintas, kerusakan jalan, kerumunan massa, lokasi dan status shelter, perbatasan, dan lain sebagainya.

Cakupan luas dari MASAS ini sebetulnya bertujuan baik, namun hal ini sepertinya membatasi value dari sistemnya sendiri. Misalnya seperti disebutkan pada website mereka, karena instansi-instansi enggan untuk berbagi informasi sensitif dengan instansi lain, maka informasi yang di-share adalah informasi yang tidak sensitif (yang akhirnya juga tidak terlalu bermanfaat).

Chicago termasuk kota pertama yang mengadopsi sistem SA pada tahun 2012. Sistem yang dinamakan WindyGrid ini adalah sistem informasi geografis yang menyajikan gambaran terpadu dari pengoperasian kota di atas peta Chicago, yang memberikan akses ke seluruh data spasial kota, baik secara historikal maupun real time.

WindyGrid mencakup informasi mengenai layanan panggilan 911 dan 311, lokasi aset transit dan mobile, status bangunan, tweets berdasarkan lokasi geografis, dan lain sebagainya. Sistem ini hanya berfokus pada data spasial, sehingga cakupannya lebih sempit daripada sistem di Kanada. Sebenarnya yang lebih dibutuhkan oleh Chicago adalah sistem yang berfokus pada penangangan kejahatan. Karena WindyGrid dibangun atas prakarsa CIO kota Chicago, maka sistem ini cenderung didasari oleh kebutuhan efisiensi informasi dibandingkan prioritas strategis.

Pencegahan kejahatan dan terorisme menjadi prioritas dari sistem DAS yang dimiliki NYPD. Sistem ini pada awalnya dikembangkan oleh biro kontraterorisme, dan saat ini digunakan secara luas dalam tugas harian kepolisian. DAS mengumpulkan dan menganalisa data dari berbagai sensor -termasuk 9000 kamera CCTV, 500 kamera pembaca plat nomor, 600 sensor radiasi dan kimia, dan jaringan detektor untuk mendeteksi suara tembakan yang menjangkau 24 mil persegi, dan 54 juta panggilan ke 911 dari masyarakat. Sistem ini juga dapat menarik data dari arsip kejahatan NYPD, termasuk 100 juta surat pemanggilan.

Project DAS dimulai pada tahun 2008 dan terus dikembangkan hingga saat ini. Pada tahun 2010 ditambahkan fungsi analytics, dan pada 2011 ditambahkan kemampuan pengenalan pola. Pada tahun 2014 mulai dikembangkan fungsi “predictive policing” , dan pada tahun 2015 petugas kepolisian dapat memperoleh informasi 911 secara real-time.

Antarmuka utama dengan sistem adalah smartphone, yang saat ini digunakan oleh 35.000 anggota NYPD. Lebih dari 10.000 polisi menggunakan DAS setiap harinya. Sistem ini disebut sebagai ‘keajaiban teknologi’, yang lahir dari kepemimpinan dan prioritas yang kuat.

Terfokusnya SA yang dimiliki NYPD merupakan kunci kesuksesan sistem ini. Tingkat kejahatan di kota New York semakin menurun (saat ini di bawah rata-rata nasional US), dan tingkat penyelesaian kasus pembunuhan meningkat. Tentunya banyak faktor yang menjadi penyebabnya, termasuk di antaranya penggunaan DAS ini, namun salah satu yang paling penting adalah budaya kepolisian yang mengedepankan bukti (evidenced based policing) yang menjadi karakteristik NYPD.

Dari beberapa pengalaman penerapan sistem berbasis kesadaran situasional ini terlihat jelas nilai strategis dari penerapan sebuah sistem berbasis kesadaran situasional. Teknologi yang ada saat ini sangat memungkinkan untuk mengetahui apa yang terjadi di luar, yang mungkin mempengaruhi kesuksesan sebuah organisasi atau perusahaan. Namun mengingat keluasan dan kompleksitas dunia luar itu sendiri, sebaiknya sistem SA dibangun dengan fokus yang jelas, misalnya pada customer, kompetitor, atau regulator. Pada akhirnya yang dituju tentunya adalah pemahaman terhadap situasi secara menyeluruh, namun mulailah dari sesuatu yang spesifik.

Diterjemahkan dari : http://fortune.com/2016/07/17/big-data-nypd-situational-awareness/


Source : ID Big Data - Big Data Membantu NYPD Menangani Kejahatan Dengan Lebih Cepat

Twitter Open Source-kan Heron, Framework Real Time Stream Processing

Satu lagi framework yang bergabung ke dalam ekosistem Big Data Open Source. Meramaikan percaturan dalam pemrosesan Big Data, khususnya real-time streaming data processing, bulan Mei lalu Twitter mengumumkan bahwa mereka meng-open-source-kan Heron, sistem real-time stream processing yang mereka kembangkan untuk menggantikan Apache Storm.

Setelah sebelumnya mengumumkan bahwa mereka mengganti framework pemrosesan real-time streaming mereka dari Storm ke Heron, dan menerbitkan paper mengenai arsitekturnya, baru setahun kemudian publik dapat ikut menggunakan dan mengembangkannya.

Alasan Twitter mengembangkan Heron pada awalnya adalah karena beberapa kesulitan yang mereka hadapi ketika menggunakan Storm, terutama ketika sistem yang mereka deploy sudah sangat besar. Beberapa kesulitan yang dihadapi di antaranya adalah kesulitan dalam hal profiling dan reasoning mengenai Storm worker di tingkat data dan tingkat topologi, alokasi resource yang bersifat statis, tidak adanya dukungan back-pressure, dan lain sebagainya.

Mengapa saat itu Twitter tidak beralih ke Apache Spark streaming atau Apache Flink misalnya, dan justru memutuskan untuk mengembangkan sendiri sistemnya secara internal? Alasan utamanya adalah peralihan framework tersebut akan menyebabkan mereka harus menulis ulang banyak sekali code dari sistem mereka yang sudah sangat besar. Sebab, sebagai pihak yang mengembangkan Storm, Twitter adalah pengguna Apache Storm yang paling lama, jauh sebelum Storm menjadi open source.

Heron didesain sebagai sebuah sistem yang memiliki backward compatibility dengan Apache Storm. Hal ini merupakan sebuah keputusan yang strategis, bukan saja untuk Twitter sendiri, namun juga untuk pengguna yang sudah mengimplementasikan Apache Storm, mereka dapat beralih ke Heron dengan relatif mudah.

Paradigma pemrosesan Heron sangat mirip dengan Apache Storm, di mana dasarnya adalah DAG (Direct Acyclic Diagram) yang disebut topology, dengan komponennya berupa spout dan bolt.

Heron dibangun dengan perubahan mendasar dalam arsitektur streamingnya, dari sistem berbasis thread, menjadi sebuah sistem berbasis proses. Heron juga didesain untuk deployment dalam cluster dengan mengintegrasikannya dengan scheduler open source yang powerful seperti Apache Mesos, Apache Aurora, Apache REEF atau Slurm.

Banyak yang dijanjikan dengan Heron, seperti misalnya 2-5 kali efisiensi, kemudahan dan stabilitas, dan lain sebagainya. Salah satu kelebihan utama Heron adalah sudah dibuktikan dalam skala yang besar di Twitter sendiri, dan kompatibilitasnya dengan Storm sebagai framework yang sudah banyak diimplementasi sebelumnya. Namun apakah masyarakat Big Data akan dengan serta merta mengadopsinya sebagai framework pilihan mereka, masih harus kita lihat bagaimana perkembangannya ke depan. Karena saat ini banyak sekali framework open source untuk pemrosesan streaming yang ada dan berkompetisi untuk menjadi yang terdepan, seperti misalnya Apache Spark, Apache Flink, Apache Samza, Apache Apex, atau bahkan Apache Storm sendiri yang juga telah me-release versi 1.0 dengan banyak perubahan dan perbaikan.

Baca juga : APACHE STORM 1.0 PENINGKATAN PERFORMA DAN SARAT FITUR BARU


Source : ID Big Data

Apache Storm 1.0 Peningkatan Performa dan Sarat Fitur Baru

Pada tanggal 12 April lalu versi terbaru dari Apache Storm dirilis. Taylor Goetz, VP Apache Software Foundation untuk project Apache Storm, menyatakan bahwa versi 1.0 ini merupakan sebuah titik yang penting dalam evolusi Apache Storm. Versi terbaru ini mengandung sejumlah besar fitur baru dan perbaikan kinerja.

Storm merupakan sebuah event processor yang memungkinkan dilakukannya proses data streaming secara terdistribusi. Aplikasi Storm terdiri dari komponen yang disebut dengan “spout” dan “bolt”, yang dikonfigurasi dalam sebuah Direct Acyclic Graph untuk merepresentasikan pemrosesan data. Ciri utama dari Storm adalah kemampuan untuk melakukan proses data secara real time.

Apache Storm versi 1.0 memiliki peningkatan performa yang cukup dramatis bahkan diklaim hingga 16 kali lebih cepat dari versi sebelumnya dengan pengurangan latensi hingga 60%. Selain performa ada beberapa fitur yang patut menjadi perhatian, diantaranya :

  1. Pacemaker, heartbeat daemon yang memiliki performa lebih baik dari Zookeeper
  2. Distributed Cache API, yang memungkinkan berbagi file antar topology
  3. High Availability Nimbus, mengatasi permasalahan single point of failure pada Nimbus proses
  4. Streaming Window API, yang menambahkan dukungan terhadap parameter window length dan sliding interval
  5. Automatic Backpressure, yang memungkinkan memperlambat spout secara otomatis ketika ambang batas dari ukuran task buffer terlampaui
  6. Resources Aware Scheduler, implementasi scheduler baru yang menggunakan ketersediaan memory dan CPU sebagai dasar untuk pengaturan task kepada worker
  7. Dynamic Worker Profiling, fitur baru ini memungkinkan pengguna untuk melihat data profile dari worker langsung dari Storm UI

Apache Storm 1.0 ini dapat didownload pada laman https://storm.apache.org/releases.html


Source : IDBigData

Perayaan Idul Adha 1435H

Idul adha menjadi salah satu kegiatan tahunan Solusi 247, lokasi pelaksanaan penyembelihan berada di area parkir PT. Dua Empat Tujuh. Idul adha menjadi semarak dengan banyaknya panitia yang ikut bekerjasama dalam pemotongan, penimbangan dan pembagian hewan qurban.

Berikut ini adalah peta rutin pelaksanaan Idul Adha 1435H :

idul adha 247


Idul qurban dalam sebuah ayat Al-Quran :

…“Dan telah Kami jadikan untuk kamu unta-unta itu sebagian dari syiar Allah, kamu memperoleh kebaikan yang banyak padanya, maka sebutlah olehmu nama Allah ketika kamu menyembelihnya dalam keadaan berdiri (dan telah terikat). Kemudian apabila telah roboh (mati), maka makanlah sebagiannya dan beri makanlah orang yang rela dengan apa yang ada padanya (yang tidak meminta-minta) dan orang yang meminta.” (Al-Hajj: 36)


Kerjasama Solusi247 Dengan ITS

PT. Dua Empat Tujuh dan Institut Teknologi Sepuluh Nopember (ITS) Surabaya telah melakukan penandatanganan Memorandum of Understanding (MoU) pada hari Rabu, 8 Mei 2013. Bertempat di gedung senat rektorat ITS Surabaya, acara penandatanganan ini dihadiri oleh Wakil rektor di bidang penelitian, inovasi dan kerjasama ITS, Bapak Prof. Dr. Darminto.

Hadir juga Bapak Prof. Surjo Adji selaku kepala badan kerjasama, inovasi dan bisnis, Bapak Dr. Saut Gurning selaku direktur pusat kerjasama dan promosi serta Bapak Prof. Gamantyo. Dari PT. Dua Empat Tujuh, hadir Bapak Beno Pradekso selaku direktur utama beserta team, serta hadir juga Bapak Dr. Andrian Andaya selaku direktur International Research Centre for Telecommunications and Radar (IRCTR) Indonesia.

Selain itu juga, acara ini dihadiri oleh dosen, pengurus rektorat beserta mahasiswa ITS. Maksud dan tujuan dari perjanjian kerjasama ini adalah untuk mengadakan kerjasama dalam bidang penelititan, pendidikan atau pelatihan, pengembangan produk dan pemasaran, penyediaan alat, tempat kerja, fasilitas dan dana, pertukaran tenaga ahli dan teknisi, serta pertemuan ilmiah, dalam rangka pengembangan industri teknologi informasi dan telekomunikasi sesuai dengan fungsi serta wewenang dari masing-masing pihak. Sebelum penandatangan, dipaparkan mengenai pengenalan perusahaan PT. Dua Empat Tujuh beserta produk dan riset yang dimiliki. Setelah penandatanganan dilakukan diskusi ringan mengenai permasalahan kelautan dan perairan Indonesia. Diharapkan PT. Dua Empat Tujuh dan ITS mampu bersinergi untuk menangani permasalah bangsa yang ada untuk menjadi solusi yang tepat dan efektif untuk bangsa Indonesia.


The Importance of The Use of “National Radar”

As most people know, currently Indonesian people have mastered the technology of RADAR, mainly on coastal surveillance RADAR and vessels RADAR with Frequency Modulated Continuous Wave (FMCW) technology. The mastery of technology covers the design, antenna fabrication, electronic devices (transmitter and receiver), signal processing devices,  Plan Position Indicator (PPI) / Operator display and detecting-tracking ability.


Why using our RADAR, not the others?

indera4

Not only on main technology of RADAR, but also the mastery of technology continues to other critical areas such as anti jamming technology with frequency hopping method, specific algorithms implementation to enhance RADAR’s detecting and tracking performance and also the image of low detectable objects like cFar and Doppler FFT, etc. Overlaying technology with electronic maps, sensors such as Automatic Identification System (AIS) , weather data, gyro, compass and others have also been successfully implemented.

Furthermore, with the mastery of overlaying techniques refined by direct programming in the graphic card (previously by conventional programming) with parallel programming and multi threading, RADAR network monitoring (multiple RADARs) in a single map can be successfully carried out without consuming a massive and expensive computing power.

In data communication, the data traffic between the RADAR antenna and remote observation monitor (for instance located in different island) which used to require 10 Megabit/s or higher data bandwidth, it can now be optimized into less than 200 kilobit/s. It means that a RADAR antenna located in a remote area can be optimally monitored in a central monitoring unit using a common communication data channel such as GSM.

Database system is also embedded as a part of the ecosystem so that data recording can be carried out for various data types like structured data, semi structured data or unstructured ones. The recorded data can be used for an analysis, a replay and other possible purposes, in case they are needed. Database system is also used as a vessel supporting data, either for the RADAR unit or for the monitoring unit.

The Systemic Use

Based on the explanation above, such technology has currently been implemented and used by Indonesian navy force specifically in Indonesian warship (KRI) of Sultan Thaha Syaifuddin in which the RADAR has been in service for over a year. One RADAR has also been installed in other Indonesian warship, KRI Oswald Siahaan and still undergoing Harbor Acceptance Test (HAT) and Ship Acceptance Test (SAT), and another RADAR is also soon going to be installed and used in KRI Yos Sudarso in which the unit is still under fabrication process.

kapal

In addition to our RADARs, we also produce ECDIS (Electronic Chart and Display Information System) which has been installed in 3 different Indonesian warships including KRI Dewa Rutji. ECDIS is an electronic navigation device implementing electronic chart S57/S63 complying with International Maritime Organization (IMO) and International Hydrographic Organization (IHO) as well as all integrated sensors like gyro, compass, AIS, GPS, Navtex, Wheatherfax in a single unit of monitoring display.

The latest product we are developing is RADAR surveillance system for vessels traffic and other existing moving objects in waterways or ship harbors. This system is also named as Vessel Traffic Surveillance (VTS) with extended range enabling the received data to be integrated with the some applications in the harbor’s system such as Billing application, Manifest application, etc. Currently, several of our applications are being tested in the Harbor of Tanjung Priok.

ais object jarak jauh

The implementation of RADAR surveillance or VTS in Indonesian waterways and harbors is very poor and this fact makes us believe that the technology we are offering is highly needed by our country. The technology supply developed by its own people gives this country a lot of advantages and some of them are:

  • Our technology independency
  • The development and improvement of the related basic skills
  • More cost-efficient systemic supply
  • Direct operational and after sale supply, etc.

Industry, Educational and Research institutions Partnership

The industry we have been developing in term of RADAR and Radio Frequency (RF) devices as well as the software shall not surely run independently. This industry requires a partnership with several other industries such as:

  • Console industry/metal industry or RADAR’s stator and rotor manufacture
  • Print Circuit Board (PCB) industry
  • Mecatronic industry
  • Electronics industry for modules manufacture like frequency divider, power supply, motor regulator, etc.
  • Computer and the supporting software industry.

The support of research institutions such as Indonesian Science and Research Institution (LIPI) and BPPT as well as educational institutions such as Bandung Institute of Technology (ITB) and University of Indonesia (UI) –which is equipped with its own research and measuring laboratory – has been proven very vital and effective in giving us practical technical advises and also in conducting researches to find solutions to our basic scientific problems. Some algorithms implementations solving the problems of how to eliminate the effects of the interferences were recommended by the intellectuals of those institutions.

monitoringconning

console ecdis 3-4

The Point is to use National Products

The mastery of further technology will give us more advantages. The further technologies are:

  • Pulse Compression RADAR
  • Synthetic Aperture RADAR
  • Over the Horizon RADAR
  • Weather RADAR

By having better software and all integrated systems applied in this technology, there will be more opportunities for our people to be researchers and developers, and it will surely bring more advantages to our country for having independent systems developed by its own people, as all of us have expected.


One-Day Course on Atmospheric Radar

The aim of this one-day intensive course is to give an introductory overview on the fundamentals, theory and practice of present and future atmospheric/weather radar system. In particular, system which were built by the International Research Centre for Telecommunications and Radar (IRCTR) at the Delft University of Technology, The Netherlands, are selected for in-depth discussion during the course. In Indonesia these systems are offered for local development and production based on knowledge transfer via IRCTR- Indonesia (IRCTR-I).

Course Presenter

LEOProf. Leo P. Ligthart Dr. H.C., PH.D., M.Sc., FIEE, FIET.

Leo P. Ligthart was born in Rotterdam, the Netherlands, on September 15, 1946. He received an Engineer’s degree (cum laude) and  a Doctor of Technology degree from Delt University of Technology in 1969 and 1985, respectively. He is Fellow if IET and IEEE, and member of the IEEE AESS Board of Governors 2013-2015. He received Doctorates (honoris causa) at Moscow State Technical University of Civil Aviation in 1999, Tomsk State University of Control Systems and Radioelectronics in 2001 and the Military Technical Academy Bucharest in 2010. He is academician of the Russian Academy of transport.

In 1988 he was appointed as professor on Radar Positioning and Navigation, and since 1992 he has held the chair of Microwave Transmiddion, Radar and Remote sensing in the Departement of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology. In 1994, he founded the International Research Center for Telecommunications and Radar (IRCTR) and became the director of IRCTR. He received several awards from Veder, IET, MIKOM, EuMA and others.

At present he is guest professor at Bandung Institute of Technology and University of Indonesia, scientific councils and consultant for companies. Prof. Ligthart’s principal areas of specialization include antennas and propagation, radar and remote sensing, but he has also been active in satellite, mobile and radio communications. He has published over 600 papers and 2 books.

Program (5 hours).

Theory:

  • Radar Fundamentals
  • Atmospheric Remote Sensing
  • Fundamentals of Atmospheric Radar
  • Fundamentals of Doppler-Polarimetric Radar

Technology:

  • Doppler-Polarimetric Radar (TARA)
  • Drizzle Radar (IDRA)
  • High Resolution Agile Radar ( PARSAX)