Perbandingan Menggunakan Metode Hadoop Archive Dengan Combine File Input Format Untuk Mengatasi File Berukuran Kecil Di Hdfs

Abstract

Abstrak
Hadoop adalah platform open source berbasis Java yang berada di bawah lisensi Apache dan digunakan
untuk mendukung aplikasi yang berjalan pada big data. HDFS merupakan komponen dari Hadoop yang
dapat menyimpan file yang sangat besar dengan akses data streaming dan berjalan pada kelompok
komoditas perangkat keras. HDFS dirancang untuk menangani file besar dalam jumlah banyak yang
ukuran file nya hingga petabyte, exabyte. Di era sekarang ini, Big Data menjadi topik yang menarik untuk
dibahas dengan bentuk data yang berbagai variety,velocity dan volume data. Di dalam Big Data terdapat
file-file yang berukuran besar dan kecil yang akan di proses HDFS. Akan tetapi terdapat masalah yang di
temukan ketika HDFS menangani file kecil dalam jumlah banyak, sehingga terdapat beberapa solusi yang
ditawarkan untuk menangani file kecil dalam jumlah banyak di HDFS yaitu dengan menggunakan metode
HAR (Hadoop Archive) dan Combine File Input Format. Dengan kedua metode ini maka file kecil di HDFS
teratasi. kemudian di lakukan perbandingan yang mana metode yang digunkan menghasilkan penggunaan
block dan waktu pemrosesan yang di gunakan sedikit.
Kata kunci : Hadoop, HDFS, HAR, combine file input format, file kecil, block.
Abstract
Hadoop is an open source platform based on Java that is under the Apache license and is used to support
applications running on big data. HDFS is a component of Hadoop that can store very large files with
streaming data access and run on hardware commodity groups. HDFS is designed for large files in the
number of files up to petabytes, exabytes. In today's era, Big Data has become an interesting topic to discuss
with various forms of data, speed and volume data. In Big Data, there are large and small files that will be
processed in HDFS. However, there are problems when HDFS files are small in large numbers, so that there
are several solutions offered for large numbers of small files in HDFS using HAR (Hadoop Archive) and
Combine File Input Format methods. With these two methods the small files in HDFS are resolved. then do
a comparison which method is used to produce blocks and the right time is used a little.
Keywords: Hadoop, HDFS, HAR, combine file format input, small file, block.