Arsitektur Umum Big Data

Big Data
Dalam infrastruktur teknologi Big Data sendiri mempunyai karakteristik yang tidak sama dengan traditional data, yakni : Berikut gambaran umum arsitektur Big Data. Data source adalah sumber data untuk big Data. Data umumnya dipompa masuk Big Data dengan menggunakan API ataupun dengan operasional file system seperti transfer file. Ada dua jenis data source yaitu streaming data source dan bulk data source. Contoh streaming data source misalnya adalah tweets dari twitter API. Sedangkan Bulk data misalnya adalah file teks biasa yang sangat besar seperti file log dari suatu aplikasi ataupun file yang berisi data yang di dump dari database. (more…)
Read More

HDFS – Hadoop Distributed file System

Big Data
Inti dari Hadoop itu adalah HDFS dan Map Reduce. HDFS ini pada dasarnya adalah sebuah tempat atau direktori di komputer dimana data hadoop disimpan. Meskipun direktori ini di “format” supaya bisa bekerja sesuai dengan spesifikasi dari Hadoop. Meskipun namanya file system, HDFS ini tidak sejajar dengan jenis file system dari sistem operasi misalnya NTFS, FAT32. HDFS ini menumpang diatas file system milik sistem operasi linux atau windows. Data di Hadoop disimpan di cluster. Cluster biasanya terdiri dari banyak node atau komputer/server. Setiap node di dalam cluster ini harus terinstall Hadoop untuk bisa jalan. (more…)
Read More

Mengenal Hadoop

Big Data
Salah satu implementasi dari Big Data yang cukup terkenal adalah Hadoop atau nama resminya Apache Hadoop. Hadoop adalah framework open source berbasis Java di bawah lisensi Apache untuk mensupport aplikasi yang jalan pada Big Data. Hadoop berjalan pada lingkungan yang menyediakan storage dan komputasi secara terdistribusi ke kluster-kluster dari komputer/node. Asal mula hadoop muncul karena terinspirasi dari makalah tentang Google MapReduce dan Google File System (GFS) yang ditulis oleh ilmuwan dari Google, Jeffrey Dean dan Sanjay Ghemawat pada tahun 2003. Jadi, Google menginspirasi lahirnya Hadoop. Bedanya Big Data Google tidak bersifat open source sementara Hadoop open source. Proses developmen dimulai pada saat proyek Apache Nutch, yang kemudian baru dipindahkan menjadi sub-proyek hadoop pada tahun 2006. Penamaan menjadi hadoop adalah diberikan oleh Doug Cutting, yaitu berdasarkan nama dari mainan gajah anaknya.…
Read More

Data Analyst dan Data Scientist

Big Data
Data analyst sudah sering kita kenal jauh sebelum teknologi Big Data. Semua aplikasi business intelligence, data mining dan data warehouse membutuhkan data analyst untuk menterjemahkan data. Data tersebut perlu di terjemahkan ke dalam kalimat yang dipahami oleh level top management. Sehingga diketahui misalnya apakah penjualan naik / turun berapa persen dan sebagainya tergantung dari jenis data yang dihasilkan. Data analyst atau juga kadang disebut Business Data Analyst adalah profesi yang mengamati data, mencari pola dari data tersebut yang menunjukkan kondisi dari suatu perusahaan. Pada umumnya data analyst menggunakan data yang dihasilkan dari aplikasi Business Intelligence (BI). Data analyst memiliki kemampuan mendalam di bidang bisnis yang digeluti oleh perusahaan tersebut. Dengan kemampuannya tersebut maka pola dari data yang diterima oleh aplikasi seperti BI bisa di visualisasikan. Pola-pola data ini pada umumnya…
Read More

Big Data ?

Big Data
Akhir-akhir ini istilah Big Data marak di gunakan sebagai teknologi yang akan menjadi trend masa depan. Sebenarnya apa sih Big Data itu?  Contoh skenario dimana Big Data digunakan misalnya adalah pemanfaatan data dari social media, twitter, facebook dsbnya dipadukan dengan data dari perusahaan sendiri misalnya data dari penjualan atau data pelanggan yang sudah ada di relasional database. Dengan demikian bisa didapatkan analisis untuk melakukan strategi marketing yang jitu. Misalnya dengan menganalisis orang-orang di social media yang berpengaruh untuk memasarkan produk. Big Data adalah sebuah teknologi baru di dunia teknologi informasi dimana memungkinan proses pengolahan, penyimpanan dan analisis data dalam beragam bentuk/format, berjumlah besar dan pertambahan data yang sangat cepat. (more…)
Read More