Big Data: Unveiling Its Terrific Potential

Big Data

Every minute 50,000 photos are posted on Instagram, 500,000 photos are shared on Snapchat, 1,000,000 swipes are done on Tinder and 4,00,000 videos are watched on YouTube.

Simply put, this exponential increase and availability of various types of data are examples of big data. This blog post explains Big Data in simple words relatable examples and analogies. Check out this video on Big Data if you prefer watching/listening over reading.

Characteristics

Big data refers to datasets whose volume, variety, and velocity are beyond the ability of traditional data solutions to ingest, process, and store the data with low latency. Let us look at each one of these characteristics with analogies to Train.

Volume:

Volume refers to the quantity of generated and stored data. The size of the data has been growing exponentially.

Assume we have a train that can carry 1,000 passengers at a time. On a particular day, we have 10,000 people waiting to travel on our train. This poses a challenge as our train can only hold 1000 passengers at a time but we need to transport passengers 10 times that number. With the current scenario, we have two options.

The first one is to load 1000 passengers at a time. With this approach, we need to make 10 trips to transport 10,000 passengers. The last batch of passengers that are traveling on the 10th trip would reach the destination with a significant delay. Moreover, some people may not want to wait for a longer time and may leave without boarding the train.

The second one is to overload the train with 10,000 passengers. This poses safety concerns. The train may break down as it is not robust enough to hold 10000 passengers at a time. Also, squeezing in 10000 passengers in the train can lead to congestion and suffocation of the passengers. 

Similarly, big data cannot be captured, stored, and analyzed on traditional data storage such as relational databases. Let’s say the traditional data solution can process X amount of data. If we try to process 10X amount of data with the same data solution, it would either result in slow and delayed delivery or a breakdown of the process.

Variety

Variety is the type and nature of the data. The data can be text, image, audio, video, or other custom formats.

Continuing with the train analogy, let’s say our train is designed only to transport human beings. But there’s a special request from the local zoo to transport the zoo animals such as elephants, giraffes, and dolphins on the train. With the current design, the train cannot transport these animals. We need to either modify the train or get a specially designed-train to transport the animals.

Analogously, the traditional data solutions may be designed for text or specific kinds of data. With Big Data, there are various other formats of data such as image, audio, video, encoded data, compressed data, or encrypted data that require different data solutions.

Velocity

Velocity refers to the speed at which the data is generated and processed. 

Let’s assume our train is scheduled to make trips from point A to point B every hour. With this schedule, people arrive at the train station and wait for the next closest trip. We now have a new requirement to transport people as soon as they arrive. An intuitive solution would be to add more trains. But this is inefficient and expensive. An efficient solution would be to add smaller vehicles such as cars, and motorbikes or arrange cabs to make frequent trips as soon as passengers arrive.

Analogously, the traditional data solutions are usually batch processes that happen at regular intervals like once an hour or once in 15 minutes. On the contrary, Big Data is often produced and consumed in real time. We need a different kind of solution to ingest, process, and store the data as soon as they arrive.

Sources of Big Data

These are several sources that were invented or introduced in recent times that produce big data in real-time and at a very large scale. Some of them include Devices, Social Media, and Apps.

Devices & Sensors

We now have various devices and sensors that are connected to the Internet and produce data in real-time. Some of the devices include laptops, smartphones, smartwatches, fitness trackers, gaming consoles, cameras, virtual assistant devices, virtual reality headsets, and drones

Social Media

There are billions of accounts on social media platforms such as Facebook, YouTube, and Instagram. Users regularly share stories, posts, photos, and videos which result in the constant generation of data in huge volume.

Transactional & Web Applications

Applications such as e-commerce websites, online banking and food ordering continuously generate transactional and log data. For instance, when we place an order from an e-commerce website, the data about the order is sent to the server. Along with this, many of the behaviors of the user are also captured and transferred for analytical purposes. Each activity such as clicking a button, browsing the menu, or navigating to a page results in one or more logs. These logs are generated and processed continuously in real time to serve the user with customized content and targeted advertisements.

Challenges

There are several challenges when working with Big Data such as capturing, storing, processing, transferring, visualizing, querying, updating, and securing the data. We need to use the right tool for the job. Instead of using traditional tools, we should leverage the modern tools that are specialized in solving each of these big data challenges.

Example Architecture

Let’s now take a look at a simple big data architecture at a high level. Assume we need to store the web server logs in real-time
In an analytical data store. We can accomplish this with the following big data pipeline.

First, we publish the logs from the web server into A real-time ingestion tool such as Apache Kafka. Then, we can leverage stream processing frameworks such as Apache Flink to read from Apache Kafka, process the data, and then write into an analytical data store such as Apache Hbase. The data in the analytical data store can then be used for reporting and analytics.

Use Cases

Big Data allows businesses to make better and faster decisions using data that was previously inaccessible or unusable. For instance, with big data, businesses can use machine learning and predictive analytics to gain new insights from the influx of data from several sources.

In A Nutshell

Big data refers to datasets whose volume, variety, and velocity are beyond the ability of traditional data solutions to ingest, process, and store the data with low latency. There are several challenges when working with Big Data such as capturing, storing, processing, transferring, visualizing, querying, updating, and securing the data. We need to architect modern solutions to deal with these challenges.

Related Posts:

437 Comments

  • My spouse and I stumbled over here different web address and thought I should check things out.
    I like what I see so now i’m following you. Look forward to looking
    at your web page yet again.

    Feel free to surf to my web page … meilleur casino en ligne (Margherita)

    Reply

  • Peter wiederum bekommt Malin. Während der deutschen Bombenangriffe („The Blitz“) im September 1940
    sendete sie Aufrufe an die Deutschen, erklärte ihnen die
    Sinnlosigkeit dieses Krieges und prophezeite, dass sie ihn mit Sicherheit verlieren würden. Die an die deutsche Kavallerie ausgegebenen Dienstpistolen Parabellum 08 hatten einen extra nachgestellten höheren Druckpunkt, also einen extrem harten trockenen Abzug.
    Als Makler können wir nur die Produkte vermitteln, die uns vom Markt der Versicherungen angeboten werden.
    Vom Ausbau der Stromnetze bis zur Förderung von Wasserstoff-Kraftwerken: Deutschland macht sein Energiesystem fit für die
    Zukunft. Auch Rons Vater bekräftigt während der Weihnachtsferien, die Harry bei den Weasleys verbringt, dass Dumbledore zu Snape großes Vertrauen hat.
    ↑ Sunexpress beginnt mit den Flügen zum Roten Meer und zum Nil.

    Beide Reiter hatten jeweils einen Abwurf, Tillmann erreichte dabei
    jedoch eine schnellere Zeit, was für ihn den Sieg im 84.
    Bei seiner Entgegennahme sorgte sie mit heftiger Kritik am Staat
    Israel und dessen Politik in den Palästinensischen Autonomiegebieten für Aufsehen. Nach Pogromen in Osteuropa im Sommer 1946 flüchteten nochmals 150 bis 200
    Tausend Juden in die westlichen Besatzungszonen. Ermordet am 25.

    Februar 1943 in Theresienstadt. Nach der Reform nahm die preußische Armee zwischen 1813 und 1815 an den Befreiungskriegen teil und leistete einen entscheidenden Anteil zur Befreiung der deutschen Staaten von der französischen Fremdherrschaft.
    Bolin kann sich endlich von Eska loseisen, aber nur,
    weil sie nach Unalaqs Tod mit ihrem Bruder die Führung
    des Nordwasserstamms übernimmt. ↑ PE PRO ASYL 28. Auch wenn die International Civil Aviation Organization (ICAO) vom Namen her
    eine zivile Organisation ist, ist eine scharfe Trennung zwischen Militär und Zivil in der Luftfahrt nicht mehr möglich.
    Seine Frau, deren erlernter Beruf Stenotypistin war, hatte eine Tätigkeit als Arbeiterin bei der Firma Osram in der Helmholtzstraße.
    Diese besuchten beide die 8. Volksschule, die Zinnowwaldschule,
    Schlieffenstraße/Boelckestraße (heute Wilskistraße).
    In einigen Ländern handelt es sich dabei auch um politische Beamte.
    werfen Sie hier einen Blick In: Heimatjahrbuch des Landkreises Neuwied.
    Für Geschäftskunden werden noch zwei weitere Tarife angeboten: Internetanschluss
    Business 32 und Internetanschluss Business 100, die sich
    in der angebotenen Sende- und Empfangsdatenrate unterscheiden und inklusive WLAN-Kabelrouter angeboten werden. Diese Seite wurde zuletzt am 18.
    Diese kommen überwiegend aus Deutschland. November 1944 die Ortschaft
    Puffendorf und am 28. Das bewusste Arrangieren und systematische Reflektieren von Lernobjekten,
    Lernsubjekten und Lernprozesse ist bereits in den sokratischen Dialogen dokumentiert und hat sich von dort bis in die Gegenwart weiterentwickelt.
    ↑ „NWZ Online vom 23. It is recommended to set this back to false
    after finishing your tests. Opfer von Hass im Netz-Delikten haben unter bestimmten Voraussetzungen Anspruch auf kostenlose psychosoziale und juristische Prozessbegleitung (§ 66b StPO,
    § 41 Abs. August 1928. Bis 1940 wohnten sie in der Cunostraße, dann musste die Familie in die Regensburger Straße 33 umziehen.
    10. Januar: Die Volksrepublik Kampuchea wird gegründet, nachdem vietnamesische Truppen die
    Roten Khmer von der Macht vertrieben haben. Prinz Henry war
    ein Mann mit wenig Vorausblick und strengen Ansichten. Tampere 1
    Frank Richter, Ike Landvoigt, Detlef Kirchhoff, Dieter Sator,
    Stefan Forster, Marc Weber, Jochen Lerche, Roland Baar, Stm.
    Obwohl sich der als fähige Reformer und Organisator bekannte Rutowski in dieser
    Funktion in den folgenden Jahren um Verbesserungen für das sächsische Heer bemühte, gelang es ihm
    nicht, die in den kommenden Friedensjahren vom
    Premierminister Graf Brühl über die Armee verhängten Reduktionen, die deren Schlagfertigkeit infrage stellten, abzuwenden. Der
    wichtigste Vorteil von einem Volksbegehren mit einem
    anschließendem Volksentscheid besteht darin, dass die Bevölkerung selbst über ein Volksgesetz abstimmen kann… Demnach
    kamen im Jahr 2012 rund 400.000 dauerhafte Zuwanderer nach Deutschland.
    Friedrich Steger: Der Feldzug von 1812. Das wolle er als Monarch auch beherzigen, betonte Charles bereits in einer BBC-Dokumentation zu seinem 70.
    Am 28. Juni 1838 vertrat Christian König Friedrich VI.

    royalnauticals.com Am 21.
    Mai 1939 wurde Nathan Stern nach Polen zwangsausgewiesen, während seine Frau
    und sein Sohn Naftali wenige Wochen, am 20. Um was geht es in der EU?
    In: Epidemiologisches Bulletin. ↑ Christian Günster u.
    Der Bund der Evangelischen Kirchen in der DDR wählte einen Vorsitzenden. 2018: In Südkorea klingen die Olympischen Winterspiele mit der traditionellen Abschlussfeier
    aus. Im Juni 1941 gelang es ihm, Deutschland zu verlassen und
    über Spanien in die USA zu emigrieren. Der Karneval in Köln, das nach dem
    Abzug der Franzosen seit 1815 preußisch war, wurde 1823 mit der Gründung des
    „Festordnenden Comites“ neu belebt und organisiert, vermehrt um
    die Komponente der Kritik an der (fremden) Obrigkeit: ein „kulturpolitischer Streich mit humoristischem
    Ambiente“. Nov. Nach Ende des Zweiten Weltkrieges wurde das Haus vom russischen Stadtkommandanten dem Altkommunisten Max Döring als Dienstwohnung zugewiesen. 04 4 Cindy aus Marzahn 18.
    Christoph Behnke, Soziologe, Leuphana Universität Lüneburg Georg Langner, Dresden Hermann Hechler,
    Dresden Carola Hänel, Dresden Eva-Maria Göldner, Dresden Gottfried Mann, Dresden Henrike Werner, Dresden Birgit Walther,
    Coswig Volkmar Höhnel, Dresden Dr. Für diese Familienangehörigen wurden 2017 weitere Stolpersteine
    verlegt. Gewalttaten gegen Juden in Deutschland gab es
    auch vor der nationalsozialistischen Machtergreifung. ↑ Galliner, Hedwig Henriette.

    So wurde Liu Yi Marquis von Liwu. http://forum.askmiddlewareexpert.com/

    Reply

  • Affiliate marketing has its ups and downs. my sources Whether
    you are looking for leads, companies, or industries,
    our data on more than 85 million corporations, 100
    million people, and 1,000 industries fuels powerful data cleansing,
    analysis, list building, and corporate linkage capabilities.
    http://www.women119.co.Kr If you’re an affiliate that has a hard time getting
    things done and is constantly bugged with low productivity then the following article
    is for you. next page

    Reply

  • Découverte sans engagement : L’un des principaux avantages des bonus sans dépôt
    est qu’ils permettent aux nouveaux joueurs de découvrir l’univers d’un casino en ligne sans s’engager financièrement.
    site de l’éditeur Fort heureusement, de nombreux sites basés dans d’autres
    pays acceptent les joueurs résidant en France.
    ce site web Il s’agit d’une condition appliquée
    aux bonus de casino qui stipule qu’un bonus doit être joué en argent réel
    avant que le joueur ne puisse récupérer les gains issus
    de l’argent bonus. https://www.biancosergio.it/gli-acconti-del-condomino-vanno-imputati-al-debito-piu-vecchio

    Reply

  • My brother recommended I might like this blog.
    He was entirely right. This post actually made my day.
    You cann’t imagine simply how much time I had spent for this info!
    Thanks!

    Reply

  • Быстромонтажные здания: финансовая выгода в каждой детали!
    В современном обществе, где время имеет значение, скоростройки стали истинным спасением для коммерции. Эти прогрессивные сооружения включают в себя высокую прочность, экономичное использование ресурсов и мгновенную сборку, что делает их идеальным выбором для разных коммерческих начинаний.
    [url=https://bystrovozvodimye-zdanija-moskva.ru/]Быстровозводимые здания[/url]
    1. Срочное строительство: Секунды – самое ценное в экономике, и здания с высокой скоростью строительства способствуют значительному сокращению сроков возведения. Это особенно выгодно в условиях, когда актуально быстро начать вести дело и начать зарабатывать.
    2. Экономичность: За счет улучшения производственных процедур элементов и сборки на объекте, экономические затраты на моментальные строения часто снижается, чем у традиционных строительных проектов. Это позволяет сэкономить средства и добиться более высокой доходности инвестиций.
    Подробнее на [url=https://bystrovozvodimye-zdanija-moskva.ru/]scholding.ru[/url]
    В заключение, моментальные сооружения – это оптимальное решение для предпринимательских задач. Они обладают ускоренную установку, финансовую выгоду и надежные характеристики, что дает им возможность превосходным выбором для предпринимательских начинаний, стремящихся оперативно начать предпринимательскую деятельность и получать доход. Не упустите возможность получить выгоду в виде сэкономленного времени и денег, идеальные сооружения быстрого монтажа для ваших будущих инициатив!

    Reply

  • 19. Juli: Der Zusammenstoß der beiden Tanker Atlantic Empress und
    Aegean Captain vor der Insel Tobago löst eine
    Ölpest durch auslaufendes Rohöl aus. farmmom.net
    Prinz Marcus von Anhalt wurde bereits in der ersten Folge von seinen Mitstreitern rausgewählt, die weitere „Promis unter Palmen“-Staffel geht
    somit ohne ihn weiter. Startseite 1207 kam es zu einem ersten verheerenden Stadtbrand.
    finden

    Reply

  • Elle s’est illustrée, dans le groupe Vivarte,
    par la suppression de 1 481 emplois en 2015, dont 1 344 à La Halle, son vaisseau
    amiral. https://www.apointvr.com/bbs/board.php?bo_table=free&wr_id=358194 Alors,
    bien sûr, les casinos sont développés pour s’adapter aux écrans des appareils qui fonctionnent sous
    Android, iOS, BlackBerry, Windows ou Linux.
    http://www.hongsebang.com Deuxièmement,
    les casinos offrent d’excellents bonus que vous pouvez utiliser sur
    n’importe quel jeu de meilleur casino en ligne français.
    http://rtistrees.com/groups/pour-les-articles-homonymes-voir-gulbis/

    Reply

  • When choosing an affiliate marketing program,
    it’s crucial to consider the product or service you’ll be
    promoting. http://www.mhl.kr For those who didn’t know what it is, affiliate marketing is a cooperative effort between the merchants and online publishers or
    affiliates, whereby an affiliate is rewarded for every visitor or customer provided through his effort.
    sjinte.com Rather, the affiliates create the
    content themselves. http://www.ssokhongchiam.in.th

    Reply

  • Le plus important concerne les pertes de la Luftwaffe,
    qui s’avéreront décisives pour la suite immédiate de la guerre.
    https://aviamili.com/user/profile/106315 Le programme d’affiliation du casino en ligne offre une
    commission fixe de 50 % aux nouveaux affiliés pendant les trois premiers mois et jusqu’à 50 % par la suite.

    http://Bj1Bt2Qx8Cgpc7Wj.Com/Bbs/Board.Php?Bo_Table=Free&Wr_Id=141484 Les symboles du Diamant et de l’Or tournent autour des espaces de prospérité de l’humanité, la
    technologie Blockchain a ouvert un autre jeu d’erreur créant une autre partie
    de l’histoire du jeu dans le monde. http://esmartech.co.kr/

    Reply

  • wonderful issues altogether, you simply received a logo new reader.
    What could you recommend about your put up that you made some days ago?

    Any sure?

    Reply

  • Si nous avons fait le choix d’inclure Firevegas Casino dans
    notre top casino, c’est pour beaucoup de raisons. deadreckoninggame.com La licence
    de jeu du Nevada est l’organisme de réglementation qui permet aux
    sociétés de casino en ligne et aux fournisseurs de logiciels d’opérer légalement au Nevada.
    naviguez vers ces gars
    Comme chaque partie est programmée pour durer un minimum de trois secondes, tel que prescrit par les règles de fonctionnement, vous ne pourrez pas mettre fin à votre partie avant que trois secondes se soient écoulées.
    kanishkakumarrathore.Com

    Reply

  • Cette relation forte lui permet désormais d’avoir une reconnaissance de la part des acteurs du jeu
    en ligne et des joueurs. allafricanplants.com Le casino en ligne Cosmik accepte autant les euros que les dollars, il
    convertit votre devise automatiquement, donc pas besoin d’un quelconque change monnaie.
    comsens.co.kr De
    plus, les politiques de paiement doivent être transparentes, avec des délais de traitement clairs pour les retraits.
    ttlink.com

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *