Tag Archives: Labs247

Twitter Open Source-kan Heron, Framework Real Time Stream Processing

Satu lagi framework yang bergabung ke dalam ekosistem Big Data Open Source. Meramaikan percaturan dalam pemrosesan Big Data, khususnya real-time streaming data processing, bulan Mei lalu Twitter mengumumkan bahwa mereka meng-open-source-kan Heron, sistem real-time stream processing yang mereka kembangkan untuk menggantikan Apache Storm.

Setelah sebelumnya mengumumkan bahwa mereka mengganti framework pemrosesan real-time streaming mereka dari Storm ke Heron, dan menerbitkan paper mengenai arsitekturnya, baru setahun kemudian publik dapat ikut menggunakan dan mengembangkannya.

Alasan Twitter mengembangkan Heron pada awalnya adalah karena beberapa kesulitan yang mereka hadapi ketika menggunakan Storm, terutama ketika sistem yang mereka deploy sudah sangat besar. Beberapa kesulitan yang dihadapi di antaranya adalah kesulitan dalam hal profiling dan reasoning mengenai Storm worker di tingkat data dan tingkat topologi, alokasi resource yang bersifat statis, tidak adanya dukungan back-pressure, dan lain sebagainya.

Mengapa saat itu Twitter tidak beralih ke Apache Spark streaming atau Apache Flink misalnya, dan justru memutuskan untuk mengembangkan sendiri sistemnya secara internal? Alasan utamanya adalah peralihan framework tersebut akan menyebabkan mereka harus menulis ulang banyak sekali code dari sistem mereka yang sudah sangat besar. Sebab, sebagai pihak yang mengembangkan Storm, Twitter adalah pengguna Apache Storm yang paling lama, jauh sebelum Storm menjadi open source.

Heron didesain sebagai sebuah sistem yang memiliki backward compatibility dengan Apache Storm. Hal ini merupakan sebuah keputusan yang strategis, bukan saja untuk Twitter sendiri, namun juga untuk pengguna yang sudah mengimplementasikan Apache Storm, mereka dapat beralih ke Heron dengan relatif mudah.

Paradigma pemrosesan Heron sangat mirip dengan Apache Storm, di mana dasarnya adalah DAG (Direct Acyclic Diagram) yang disebut topology, dengan komponennya berupa spout dan bolt.

Heron dibangun dengan perubahan mendasar dalam arsitektur streamingnya, dari sistem berbasis thread, menjadi sebuah sistem berbasis proses. Heron juga didesain untuk deployment dalam cluster dengan mengintegrasikannya dengan scheduler open source yang powerful seperti Apache Mesos, Apache Aurora, Apache REEF atau Slurm.

Banyak yang dijanjikan dengan Heron, seperti misalnya 2-5 kali efisiensi, kemudahan dan stabilitas, dan lain sebagainya. Salah satu kelebihan utama Heron adalah sudah dibuktikan dalam skala yang besar di Twitter sendiri, dan kompatibilitasnya dengan Storm sebagai framework yang sudah banyak diimplementasi sebelumnya. Namun apakah masyarakat Big Data akan dengan serta merta mengadopsinya sebagai framework pilihan mereka, masih harus kita lihat bagaimana perkembangannya ke depan. Karena saat ini banyak sekali framework open source untuk pemrosesan streaming yang ada dan berkompetisi untuk menjadi yang terdepan, seperti misalnya Apache Spark, Apache Flink, Apache Samza, Apache Apex, atau bahkan Apache Storm sendiri yang juga telah me-release versi 1.0 dengan banyak perubahan dan perbaikan.

Baca juga : APACHE STORM 1.0 PENINGKATAN PERFORMA DAN SARAT FITUR BARU


Source : ID Big Data

CSR SOLUSI247 – Buka Bersama & Santunan 100 Anak Yatim

Ramadhan adalah bulan mulia dimana dosa-dosa diampuni dan pahala dilipatgandakan, salah satunya dengan memberi kepada sesama. Dalam rangka bulan suci Ramadhan ini, sudah menjadi agenda rutin Solusi247 untuk selalu menyempatkan diri berbuka puasa bersama dengan anak-anak yatim yang biasa disebut dengan CSR Solusi247 atau tanggung jawab sosial perusahaan. Kegiatan kali ini diselenggarakan di Pesantren Al-Quran Al-Hidayah Yayasan Hidayatul Islam, Balekambang, Condet, Jakarta Timur, yang diikuti oleh sekitar 100 anak-anak yatim yang dilaksanakan pada hari Rabu, 15 Juni 2016.

CSR (Corporate Social Responsibility) Solusi247 berisi kegiatan siraman rohani oleh Ustad Masyudi, pembacaan ayat-ayat suci Al-Qur'an, santunan 100 anak yatim, buka puasa bersama, shalat maghrib berjama'ah dan diakhiri dengan shalat tarawih berjama'ah. Kegiatan CSR Solusi247 ini tentu saja bertujuan untuk menjalin silaturahmi dan berbagi rezeki kepada sesama umat muslim yang membutuhkan. Kegiatan yang dimulai dari pukul 16.00 WIB berakhir pada pukul 20.30 WIB.

Apache Storm 1.0 Peningkatan Performa dan Sarat Fitur Baru

Pada tanggal 12 April lalu versi terbaru dari Apache Storm dirilis. Taylor Goetz, VP Apache Software Foundation untuk project Apache Storm, menyatakan bahwa versi 1.0 ini merupakan sebuah titik yang penting dalam evolusi Apache Storm. Versi terbaru ini mengandung sejumlah besar fitur baru dan perbaikan kinerja.

Storm merupakan sebuah event processor yang memungkinkan dilakukannya proses data streaming secara terdistribusi. Aplikasi Storm terdiri dari komponen yang disebut dengan “spout” dan “bolt”, yang dikonfigurasi dalam sebuah Direct Acyclic Graph untuk merepresentasikan pemrosesan data. Ciri utama dari Storm adalah kemampuan untuk melakukan proses data secara real time.

Apache Storm versi 1.0 memiliki peningkatan performa yang cukup dramatis bahkan diklaim hingga 16 kali lebih cepat dari versi sebelumnya dengan pengurangan latensi hingga 60%. Selain performa ada beberapa fitur yang patut menjadi perhatian, diantaranya :

  1. Pacemaker, heartbeat daemon yang memiliki performa lebih baik dari Zookeeper
  2. Distributed Cache API, yang memungkinkan berbagi file antar topology
  3. High Availability Nimbus, mengatasi permasalahan single point of failure pada Nimbus proses
  4. Streaming Window API, yang menambahkan dukungan terhadap parameter window length dan sliding interval
  5. Automatic Backpressure, yang memungkinkan memperlambat spout secara otomatis ketika ambang batas dari ukuran task buffer terlampaui
  6. Resources Aware Scheduler, implementasi scheduler baru yang menggunakan ketersediaan memory dan CPU sebagai dasar untuk pengaturan task kepada worker
  7. Dynamic Worker Profiling, fitur baru ini memungkinkan pengguna untuk melihat data profile dari worker langsung dari Storm UI

Apache Storm 1.0 ini dapat didownload pada laman https://storm.apache.org/releases.html


Source : IDBigData

Perencanaan Kerjasama Solusi247 dengan AMIKOM-Yogyakarta

Jumat, 19 Februari 2016, beberapa perwakilan dari Solusi247 yaitu Bpk. Beno K. Pradekso, Sigit Prasetyo dan Mugi Prayitno, mengadakan meeting dengan AMIKOM-Battle of Surabaya di Yogyakarta, membahas perihal perencanaan kerjasama mengenai riset Big Data untuk storage dan proses rendering film.

amikom2

Berbicara tentang Battle of Surabaya, film ini merupakan film karya anak bangsa yang rilis pada tahun 2015. Pembuatan film ini menghabiskan waktu selama 3 tahun. Film yang diluncurkan oleh MSV pictures ini meluncurkan film animasi perdana mereka pada bulan Agustus 2015. Film ini menceritakan tentang perjuangan Indonesia pada peristiwa 10 November 1945.

amikom1


Perayaan Idul Adha 1435H

Idul adha menjadi salah satu kegiatan tahunan Solusi 247, lokasi pelaksanaan penyembelihan berada di area parkir PT. Dua Empat Tujuh. Idul adha menjadi semarak dengan banyaknya panitia yang ikut bekerjasama dalam pemotongan, penimbangan dan pembagian hewan qurban.

Berikut ini adalah peta rutin pelaksanaan Idul Adha 1435H :

idul adha 247


Idul qurban dalam sebuah ayat Al-Quran :

…“Dan telah Kami jadikan untuk kamu unta-unta itu sebagian dari syiar Allah, kamu memperoleh kebaikan yang banyak padanya, maka sebutlah olehmu nama Allah ketika kamu menyembelihnya dalam keadaan berdiri (dan telah terikat). Kemudian apabila telah roboh (mati), maka makanlah sebagiannya dan beri makanlah orang yang rela dengan apa yang ada padanya (yang tidak meminta-minta) dan orang yang meminta.” (Al-Hajj: 36)


Kerjasama Solusi247 Dengan ITS

PT. Dua Empat Tujuh dan Institut Teknologi Sepuluh Nopember (ITS) Surabaya telah melakukan penandatanganan Memorandum of Understanding (MoU) pada hari Rabu, 8 Mei 2013. Bertempat di gedung senat rektorat ITS Surabaya, acara penandatanganan ini dihadiri oleh Wakil rektor di bidang penelitian, inovasi dan kerjasama ITS, Bapak Prof. Dr. Darminto.

Hadir juga Bapak Prof. Surjo Adji selaku kepala badan kerjasama, inovasi dan bisnis, Bapak Dr. Saut Gurning selaku direktur pusat kerjasama dan promosi serta Bapak Prof. Gamantyo. Dari PT. Dua Empat Tujuh, hadir Bapak Beno Pradekso selaku direktur utama beserta team, serta hadir juga Bapak Dr. Andrian Andaya selaku direktur International Research Centre for Telecommunications and Radar (IRCTR) Indonesia.

Selain itu juga, acara ini dihadiri oleh dosen, pengurus rektorat beserta mahasiswa ITS. Maksud dan tujuan dari perjanjian kerjasama ini adalah untuk mengadakan kerjasama dalam bidang penelititan, pendidikan atau pelatihan, pengembangan produk dan pemasaran, penyediaan alat, tempat kerja, fasilitas dan dana, pertukaran tenaga ahli dan teknisi, serta pertemuan ilmiah, dalam rangka pengembangan industri teknologi informasi dan telekomunikasi sesuai dengan fungsi serta wewenang dari masing-masing pihak. Sebelum penandatangan, dipaparkan mengenai pengenalan perusahaan PT. Dua Empat Tujuh beserta produk dan riset yang dimiliki. Setelah penandatanganan dilakukan diskusi ringan mengenai permasalahan kelautan dan perairan Indonesia. Diharapkan PT. Dua Empat Tujuh dan ITS mampu bersinergi untuk menangani permasalah bangsa yang ada untuk menjadi solusi yang tepat dan efektif untuk bangsa Indonesia.


The Importance of The Use of “National Radar”

As most people know, currently Indonesian people have mastered the technology of RADAR, mainly on coastal surveillance RADAR and vessels RADAR with Frequency Modulated Continuous Wave (FMCW) technology. The mastery of technology covers the design, antenna fabrication, electronic devices (transmitter and receiver), signal processing devices,  Plan Position Indicator (PPI) / Operator display and detecting-tracking ability.


Why using our RADAR, not the others?

indera4

Not only on main technology of RADAR, but also the mastery of technology continues to other critical areas such as anti jamming technology with frequency hopping method, specific algorithms implementation to enhance RADAR’s detecting and tracking performance and also the image of low detectable objects like cFar and Doppler FFT, etc. Overlaying technology with electronic maps, sensors such as Automatic Identification System (AIS) , weather data, gyro, compass and others have also been successfully implemented.

Furthermore, with the mastery of overlaying techniques refined by direct programming in the graphic card (previously by conventional programming) with parallel programming and multi threading, RADAR network monitoring (multiple RADARs) in a single map can be successfully carried out without consuming a massive and expensive computing power.

In data communication, the data traffic between the RADAR antenna and remote observation monitor (for instance located in different island) which used to require 10 Megabit/s or higher data bandwidth, it can now be optimized into less than 200 kilobit/s. It means that a RADAR antenna located in a remote area can be optimally monitored in a central monitoring unit using a common communication data channel such as GSM.

Database system is also embedded as a part of the ecosystem so that data recording can be carried out for various data types like structured data, semi structured data or unstructured ones. The recorded data can be used for an analysis, a replay and other possible purposes, in case they are needed. Database system is also used as a vessel supporting data, either for the RADAR unit or for the monitoring unit.

The Systemic Use

Based on the explanation above, such technology has currently been implemented and used by Indonesian navy force specifically in Indonesian warship (KRI) of Sultan Thaha Syaifuddin in which the RADAR has been in service for over a year. One RADAR has also been installed in other Indonesian warship, KRI Oswald Siahaan and still undergoing Harbor Acceptance Test (HAT) and Ship Acceptance Test (SAT), and another RADAR is also soon going to be installed and used in KRI Yos Sudarso in which the unit is still under fabrication process.

kapal

In addition to our RADARs, we also produce ECDIS (Electronic Chart and Display Information System) which has been installed in 3 different Indonesian warships including KRI Dewa Rutji. ECDIS is an electronic navigation device implementing electronic chart S57/S63 complying with International Maritime Organization (IMO) and International Hydrographic Organization (IHO) as well as all integrated sensors like gyro, compass, AIS, GPS, Navtex, Wheatherfax in a single unit of monitoring display.

The latest product we are developing is RADAR surveillance system for vessels traffic and other existing moving objects in waterways or ship harbors. This system is also named as Vessel Traffic Surveillance (VTS) with extended range enabling the received data to be integrated with the some applications in the harbor’s system such as Billing application, Manifest application, etc. Currently, several of our applications are being tested in the Harbor of Tanjung Priok.

ais object jarak jauh

The implementation of RADAR surveillance or VTS in Indonesian waterways and harbors is very poor and this fact makes us believe that the technology we are offering is highly needed by our country. The technology supply developed by its own people gives this country a lot of advantages and some of them are:

  • Our technology independency
  • The development and improvement of the related basic skills
  • More cost-efficient systemic supply
  • Direct operational and after sale supply, etc.

Industry, Educational and Research institutions Partnership

The industry we have been developing in term of RADAR and Radio Frequency (RF) devices as well as the software shall not surely run independently. This industry requires a partnership with several other industries such as:

  • Console industry/metal industry or RADAR’s stator and rotor manufacture
  • Print Circuit Board (PCB) industry
  • Mecatronic industry
  • Electronics industry for modules manufacture like frequency divider, power supply, motor regulator, etc.
  • Computer and the supporting software industry.

The support of research institutions such as Indonesian Science and Research Institution (LIPI) and BPPT as well as educational institutions such as Bandung Institute of Technology (ITB) and University of Indonesia (UI) –which is equipped with its own research and measuring laboratory – has been proven very vital and effective in giving us practical technical advises and also in conducting researches to find solutions to our basic scientific problems. Some algorithms implementations solving the problems of how to eliminate the effects of the interferences were recommended by the intellectuals of those institutions.

monitoringconning

console ecdis 3-4

The Point is to use National Products

The mastery of further technology will give us more advantages. The further technologies are:

  • Pulse Compression RADAR
  • Synthetic Aperture RADAR
  • Over the Horizon RADAR
  • Weather RADAR

By having better software and all integrated systems applied in this technology, there will be more opportunities for our people to be researchers and developers, and it will surely bring more advantages to our country for having independent systems developed by its own people, as all of us have expected.


One-Day Course on Atmospheric Radar

The aim of this one-day intensive course is to give an introductory overview on the fundamentals, theory and practice of present and future atmospheric/weather radar system. In particular, system which were built by the International Research Centre for Telecommunications and Radar (IRCTR) at the Delft University of Technology, The Netherlands, are selected for in-depth discussion during the course. In Indonesia these systems are offered for local development and production based on knowledge transfer via IRCTR- Indonesia (IRCTR-I).

Course Presenter

LEOProf. Leo P. Ligthart Dr. H.C., PH.D., M.Sc., FIEE, FIET.

Leo P. Ligthart was born in Rotterdam, the Netherlands, on September 15, 1946. He received an Engineer’s degree (cum laude) and  a Doctor of Technology degree from Delt University of Technology in 1969 and 1985, respectively. He is Fellow if IET and IEEE, and member of the IEEE AESS Board of Governors 2013-2015. He received Doctorates (honoris causa) at Moscow State Technical University of Civil Aviation in 1999, Tomsk State University of Control Systems and Radioelectronics in 2001 and the Military Technical Academy Bucharest in 2010. He is academician of the Russian Academy of transport.

In 1988 he was appointed as professor on Radar Positioning and Navigation, and since 1992 he has held the chair of Microwave Transmiddion, Radar and Remote sensing in the Departement of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology. In 1994, he founded the International Research Center for Telecommunications and Radar (IRCTR) and became the director of IRCTR. He received several awards from Veder, IET, MIKOM, EuMA and others.

At present he is guest professor at Bandung Institute of Technology and University of Indonesia, scientific councils and consultant for companies. Prof. Ligthart’s principal areas of specialization include antennas and propagation, radar and remote sensing, but he has also been active in satellite, mobile and radio communications. He has published over 600 papers and 2 books.

Program (5 hours).

Theory:

  • Radar Fundamentals
  • Atmospheric Remote Sensing
  • Fundamentals of Atmospheric Radar
  • Fundamentals of Doppler-Polarimetric Radar

Technology:

  • Doppler-Polarimetric Radar (TARA)
  • Drizzle Radar (IDRA)
  • High Resolution Agile Radar ( PARSAX)