Azure HDInsight කියන්නේ open source analytics service එකක්. Enterprise එකකදි අපි පාවිච්චි කරන දත්ත නිවැරදිව හසුරවන්න තමයි Azure මේක හදුන්වලා දීලා තිබෙන්නේ. Azure HDInsight support අපි පාවිච්චි කරන්නේ අපේ database එක්ක සම්බන්ධ කරගන්න‌ේ ක‌ොහොමද කියන දේ පැහැදිලි කරන්න. මේක කියලා දෙන්න කලින් ඔබට database knowledge එක සහ SQL query සම්බන්ධව දැනුමක් පවතින්න අවශ්‍ය වෙනවා.
HDInsight පාවිච්චිය‌ේ තිබෙන වාසි ගණනාවක් තිබෙනවා. Apache Hadoop, Spark හා Kafka වගේ open source framework ගණනාවක් ඉතාම පහසුවෙන් පාවිච්චි කරන්න පුළුවන් මේ සමග. ඔබට කිසිම විදියක Hardware එකක් install කරන්න හෝ ඒ වගේම open source analytics වලට HDInsight පාවිච්චිය enterprise-grade service එකක් වගේම හොදම cost-effective solution එකක් විදියට දක්වන්න පුළුවන්.
ඒ වගේම HDInsight සමග analytics pipelines නිර්මාණය කරන්න Synapse Analytics, Azure Cosmos DB, Data Lake Storage, Blob Storage, Event Hubs සහ Data Factory වගේ Azure Services භාවිත කරන්න පුලූවන්. HDInsight වල තියෙන තව විශේෂ දෙයක් තමයි, එය security අතින් තිබෙන විශේෂත්වය. HDInsight සතුව තිබෙනවා ISO, SOC, HIPAA හා PCI ඇතුලු industry certifications 30කට අධික ප්‍රමාණයක් තිබෙනවා. Virtual networks, encryption, Active Directory authentication, authorization සහ role-based access control වගේ ගුණාංග ගණනාවක් HDInsight සතු වෙනවා.
ප්‍රශ්නයක් ඇති වෙන්න පුලුවන්, HDInsight වලින් අපිට මොනවාද කරන්න පුළුවන් කියලා. මම සරළ උදාහරණ කිහිපයක් දෙන්නම් මේ සම්බන්ධව.
- Hadoop Mapreduce සහ Apache Spark පාවිච්චි කරලා data clusters extract, transform සහ load කරන්න.
- Apache Kafka, Apache Storm, සහ Apache Spark Streaming වගේ tools එක්ක streaming events මිලියන ගානක් process කරන්න.
- Apache Hive LLAP එක්ක structured වගේම unstructured data වල එකතුවෙන්, SQL queries perform කරන්න
මීළග ලිපියෙන් මම බලාපොරොත්තු වෙනවා, Big Data analyze කරන්න පාවිච්චි කරන්න ගන්න පුළුවන් tools ගණනාවක් ගැන කථා කරන්න.
Source and Images: https://azure.microsoft.com/en-us/services/hdinsight/
