Data Scientist gegen Data Engineer, was ist der Unterschied?

Datenspezialisten und Dateningenieure sind zwar neue Berufsbezeichnungen, aber wichtige Berufsrollen gibt es schon seit einiger Zeit. Traditionell wird jeder, der Daten analysiert, als "Datenanalyst" bezeichnet und wird zum "Business Intelligence (BI) -Entwickler", der eine Back-End-Plattform zur Unterstützung der Datenanalyse erstellt.

Mit dem Aufkommen von Big Data sind neue Daten in Unternehmen und Forschungszentren entstanden - Datenwissenschaftler und Dateningenieure.

Hier finden Sie eine kurze Übersicht über die Rolle des Datenanalysten, BI-Programmierers, Datenspezialisten und Dateningenieurs.

Datenanalyst

Datenanalysten sind erfahrene Fachleute mit der Fähigkeit, Daten in ihrem Unternehmen abzufragen und zu verarbeiten, Daten zu melden, zusammenzufassen und zu visualisieren. Sie wissen, wie vorhandene Tools und Techniken zur Lösung von Problemen verwendet werden, und helfen Mitarbeitern im gesamten Unternehmen, bestimmte Abfragen mithilfe von Ad-hoc-Berichten und Zeitplänen zu verstehen.

Es wird jedoch nicht erwartet, dass sie sich mit Big-Data-Analysen befassen, und es wird normalerweise nicht erwartet, dass sie über mathematische oder Forschungsdaten verfügen, um neue Algorithmen für bestimmte Probleme zu entwickeln.

Fähigkeiten und Werkzeuge: Datenanalysten müssen über Grundkenntnisse verfügen: Statistik, Datenerfassung, Datenvisualisierung, Datensuche, Microsoft Excel, SPSS, SPSS Modeler, SAS, SAS Miner, SQL, Microsoft Access, Tableau, SSAS.

Business Intelligence-Entwickler

Business Intelligence-Hersteller sind Datenexperten, die eine engere Beziehung zu internen Stakeholdern haben, um die Berichtsanforderungen zu verstehen und dann Anforderungen zu erfassen, BI- und Unternehmensberichtslösungen zu erstellen. Sie sollten neue und vorhandene Datenbanken, ETL-Pakete, Cubes, Dashboards und Analyseberichte entwerfen, entwickeln und warten.

Darüber hinaus arbeiten sie mit mehr- und mehrdimensionalen Datenbanken und müssen über umfassende Kenntnisse in der Entwicklung von SQL verfügen, um Daten aus verschiedenen Quellen zu integrieren. Sie nutzen all diese Fähigkeiten, um die Self-Service-Anforderungen des Unternehmens zu erfüllen. In der Regel wird vom BI-Produzenten keine Datenanalyse erwartet.

Fähigkeiten und Tools: ETL, Berichtsverarbeitung, OLAP, Cubes, Web Intelligence, Design von Geschäftsobjekten, Tableau, Dashboard-Tools, SQL, SSAS, SSIS.

Informationsingenieur

Dateningenieure sind Datenspezialisten, die eine „Big Data“ -Infrastruktur vorbereiten, die von Datenspezialisten analysiert wird. Sie sind Softwareentwickler, die Big Data aus verschiedenen Quellen entwerfen, erstellen, integrieren und verwalten. Anschließend schreiben sie komplexe Abfragen, stellen sicher, dass sie leicht zugänglich sind, reibungslos funktionieren und ihr Ziel darin besteht, die Leistung des Big-Data-Ökosystems des Unternehmens zu optimieren.

Sie können auch einige ETL-Programme (Extract, Transform and Load) für große Datenmengen ausführen und große Datenbanken erstellen, die von Datenwissenschaftlern für die Berichterstellung oder Analyse verwendet werden können. . Da sich Data Engineers mehr auf Design und Architektur konzentrieren, erwarten sie normalerweise kein maschinelles Lernen oder keine Analyse für Big Data.

Fähigkeiten und Werkzeuge: Hadoop, MapReduce, Hive, Pig, MySQL, MongoDB, Cassandra, Datenfluss, NoSQL, SQL, Programmierung.

Datenwissenschaftler

Data Scientist 21st Century Alchemist: Jemand, der Rohdaten in verfeinerte Konzepte umwandelt. Datenwissenschaftler verwenden analytische Ansätze, um wichtige Probleme in den Bereichen Statistik, maschinelles Lernen und Wirtschaft zu lösen. Ihre Hauptaufgabe besteht darin, Unternehmen dabei zu helfen, große Mengen von Big Data in wertvolle und effektive Erkenntnisse umzuwandeln.

Tatsächlich ist die Datenwissenschaft keine völlig neue Richtung, aber sie kann als fortgeschrittene Ebene der Datenanalyse angesehen werden, die durch maschinelles Lernen und Informatik gesteuert und automatisiert wird. Mit anderen Worten, Data Scientists verfügen im Vergleich zu "Datenanalysten" über starke Programmierkenntnisse, neue Algorithmen, Big Data-Verarbeitung und Domänenkenntnisse sowie über Datenanalysefähigkeiten. wird erwartet.

Darüber hinaus wird von Data Scientists erwartet, dass sie die Ergebnisse ihrer Ergebnisse interpretieren und frei mit interessanten Geschichten darüber teilen, wie sie visualisiert, Datenanwendungen erstellt oder ihre Datengeschäftsprobleme gelöst werden können.

Fähigkeiten zur Problemlösung von Datenwissenschaftlern erfordern ein Verständnis sowohl traditioneller als auch neuer Datenanalysetechniken zum Erstellen statistischer Modelle oder zum Identifizieren von Mustern in Daten. Beispiele hierfür sind die Erstellung eines Überweisungssystems, die Börsenprognose, die patientenbasierte Diagnose oder das Auffinden gefälschter Transaktionen.

Daten können Wissenschaftlern manchmal durch Big Data zur Verfügung gestellt werden, wenn kein Geschäftsproblem vorliegt. In diesem Fall wird von einem neugierigen Data Scientist erwartet, dass er die Informationen studiert, die Fragen findet, die Sie benötigen, und interessante Ergebnisse liefert! Dies ist schwierig, da starke Datenanalyse-Experten sich sehr für Datenanalyse, Datenerfassung, Statistik und verschiedene Methoden in der Big-Data-Infrastruktur interessieren. muss viel Wissen haben.

Sie sollten Erfahrung in der Arbeit mit verschiedenen Datensätzen unterschiedlicher Größe und Form haben und ihre Algorithmen für umfangreiche Daten effektiv und effizient einsetzen, was normalerweise bedeutet, dass sie sich mit den neuesten Technologien vertraut machen. Aus diesem Grund ist es wichtig, die Grundlagen der Informatik und Programmierung zu kennen, einschließlich Sprachen und Datenbanktechnologien (groß / klein).

Fähigkeiten und Werkzeuge: Python, R, Scala, Apache Spark, Hadoop, Datensuchwerkzeuge und -algorithmen, maschinelles Lernen, Statistik.

MUORO - Daten und Analyse Genius muoro.io