Apache hive install windows

Содержание
  1. General¶
  2. Community¶
  3. Downloads
  4. 17 January 2021: release 2.3.8 available¶
  5. 18 April 2020: release 2.3.7 available¶
  6. 26 August 2019: release 3.1.2 available¶
  7. 23 August 2019: release 2.3.6 available¶
  8. 14 May 2019: release 2.3.5 available¶
  9. 7 November 2018: release 2.3.4 available¶
  10. 1 November 2018: release 3.1.1 available¶
  11. 30 July 2018: release 3.1.0 available¶
  12. 21 May 2018 : release 3.0.0 available¶
  13. 3 April 2018 : release 2.3.3 available¶
  14. 18 November 2017 : release 2.3.2 available¶
  15. 24 October 2017 : release 2.3.1 available¶
  16. 25 July 2017 : release 2.2.0 available¶
  17. 17 July 2017 : release 2.3.0 available¶
  18. 07 April 2017 : release 1.2.2 available¶
  19. 8 December 2016 : release 2.1.1 available¶
  20. 20 June 2016 : release 2.1.0 available¶
  21. 25 May 2016 : release 2.0.1 available¶
  22. 15 February 2016 : release 2.0.0 available¶
  23. 28 Jan 2016 : hive-parent-auth-hook made available¶
  24. 27 June 2015 : release 1.2.1 available¶
  25. 21 May 2015 : release 1.0.1, 1.1.1, and ldap-fix are available¶
  26. 18 May 2015 : release 1.2.0 available¶
  27. 8 March 2015: release 1.1.0 available¶
  28. 4 February 2015: release 1.0.0 available¶
  29. 12 November, 2014: release 0.14.0 available¶
  30. 6 June, 2014: release 0.13.1 available¶
  31. 21 April, 2014: release 0.13.0 available¶
  32. 15 October, 2013: release 0.12.0 available¶
  33. 15 May, 2013: release 0.11.0 available¶
  34. March, 2013: HCatalog merges into Hive¶
  35. 11 January, 2013: release 0.10.0 available¶
  36. Apache hive install windows
  37. Verify and Untar the archive file downloaded.
  38. Copy the files to /usr/local/hive directory
  39. Set the environment variable HIVE_HOME to point to the installation directory
  40. Apache Hive: установка и работа с базами данных
  41. Оглавление:
  42. 1. Краткое описание Hive (что это и зачем).
  43. 2. Установка Hive.
  44. 3. Установка Derby.
  45. 4. Настройка мета-хранилища Derby и запуск Hive.
  46. 5. Настройка мета-хранилища MySQL для Hive.
  47. 6. Настройка клиент-серверного взаимодействия Hive (HiveServer2 и beeline).
  48. Комментарии
  49. Шаг 1: Проверка установки JAVA
  50. Установка Java
  51. Шаг I:
  52. Шаг II:
  53. Шаг III:
  54. Шаг IV:
  55. Шаг V:
  56. Шаг 2: Проверка установки Hadoop
  57. Загрузка Hadoop
  58. Установка Hadoop в псевдо-распределенном режиме
  59. Шаг I: Настройка Hadoop
  60. Шаг II: настройка Hadoop
  61. Проверка правильности установки Hadoop
  62. Шаг I: Настройка узла имени
  63. Шаг II: Проверка Hadoop dfs
  64. Шаг III: Проверка скрипта пряжи
  65. Шаг IV: доступ к Hadoop в браузере
  66. Шаг V: Проверьте все приложения для кластера
  67. Шаг 3: Загрузка Hive
  68. Шаг 4: Установка Hive
  69. Извлечение и проверка Hive Archive
  70. Копирование файлов в каталог / usr / local / hive
  71. Настройка среды для Hive
  72. Шаг 5: Настройка Hive
  73. Шаг 6: Загрузка и установка Apache Derby
  74. Скачиваем Apache Derby
  75. Извлечение и проверка архива Derby
  76. Копирование файлов в каталог / usr / local / derby
  77. Настройка среды для Derby
  78. Создать каталог для хранения Metastore
  79. Шаг 7: Настройка Метасторка Hive
  80. Шаг 8: Проверка установки Hive

General¶

Community¶

Downloads

Releases may be downloaded from Apache mirrors:

On the mirror, all recent releases are available, but are not guaranteed to be stable. For stable releases, look in the stable directory.

17 January 2021: release 2.3.8 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

18 April 2020: release 2.3.7 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

26 August 2019: release 3.1.2 available¶

This release works with Hadoop 3.x.y. You can look at the complete JIRA change log for this release.

23 August 2019: release 2.3.6 available¶

This release works with Hadoop 2.x.y. You can look at the complete JIRA change log for this release.

14 May 2019: release 2.3.5 available¶

This release works with Hadoop 2.x.y. You can look at the complete JIRA change log for this release.

7 November 2018: release 2.3.4 available¶

This release works with Hadoop 2.x.y. You can look at the complete JIRA change log for this release.

1 November 2018: release 3.1.1 available¶

This release works with Hadoop 3.x.y. You can look at the complete JIRA change log for this release.

30 July 2018: release 3.1.0 available¶

This release works with Hadoop 3.x.y. You can look at the complete JIRA change log for this release.

21 May 2018 : release 3.0.0 available¶

This release works with Hadoop 3.x.y. The on-disk layout of Acid tables has changed with this release. Any Acid table partition that had Update/Delete/Merge statement executed since the last Major compaction must execute Major compaction before upgrading to 3.0. No more Update/Delete/Merge may be executed against these tables since the start of Major compaction. Not following this may lead to data corruption. Tables/partitions that only contain results of Insert statements are fully compatible and don’t need to be compacted. You can look at the complete JIRA change log for this release.

3 April 2018 : release 2.3.3 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

18 November 2017 : release 2.3.2 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

24 October 2017 : release 2.3.1 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

25 July 2017 : release 2.2.0 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

17 July 2017 : release 2.3.0 available¶

This release works with Hadoop 2.x.y You can look at the complete JIRA change log for this release.

07 April 2017 : release 1.2.2 available¶

This release works with Hadoop 1.x.y, 2.x.y You can look at the complete JIRA change log for this release.

8 December 2016 : release 2.1.1 available¶

This release works with Hadoop 2.x.y. Hive 1.x line will continue to be maintained with Hadoop 1.x.y support. You can look at the complete JIRA change log for this release.

20 June 2016 : release 2.1.0 available¶

This release works with Hadoop 2.x.y. Hive 1.x line will continue to be maintained with Hadoop 1.x.y support. You can look at the complete JIRA change log for this release.

Читайте также:  Windows live не отправляет письма

25 May 2016 : release 2.0.1 available¶

This release works with Hadoop 2.x.y. Hive 1.x line will continue to be maintained with Hadoop 1.x.y support. You can look at the complete JIRA change log for this release.

15 February 2016 : release 2.0.0 available¶

This release works with Hadoop 2.x.y. Hive 1.x line will continue to be maintained with Hadoop 1.x.y support. You can look at the complete JIRA change log for this release.

28 Jan 2016 : hive-parent-auth-hook made available¶

This is a hook usable with hive to fix an authorization issue. Users of Hive 1.0.x,1.1.x and 1.2.x are encouraged to use this hook. More details can be found in the README inside the tar.gz file.

27 June 2015 : release 1.2.1 available¶

This release works with Hadoop 1.x.y, 2.x.y

21 May 2015 : release 1.0.1, 1.1.1, and ldap-fix are available¶

These two releases works with Hadoop 1.x.y, 2.x.y. They are based on Hive 1.0.0 and 1.1.0 respectively, plus a fix for a LDAP vulnerability issue. Hive users for these two versions are encouraged to upgrade. Users of previous versions can download and use the ldap-fix. More details can be found in the README attached to the tar.gz file.

You can look at the complete JIRA change log for release 1.0.1 and release 1.1.1

18 May 2015 : release 1.2.0 available¶

This release works with Hadoop 1.x.y, 2.x.y

8 March 2015: release 1.1.0 available¶

This release works with Hadoop 1.x.y, 2.x.y

4 February 2015: release 1.0.0 available¶

This release works with Hadoop 1.x.y, 2.x.y

12 November, 2014: release 0.14.0 available¶

This release works with Hadoop 1.x.y, 2.x.y

6 June, 2014: release 0.13.1 available¶

This release works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

21 April, 2014: release 0.13.0 available¶

This release works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

15 October, 2013: release 0.12.0 available¶

This release works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

15 May, 2013: release 0.11.0 available¶

This release works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

March, 2013: HCatalog merges into Hive¶

Old HCatalog releases may still be downloaded.

11 January, 2013: release 0.10.0 available¶

This release works with Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y

Copyright © 2011-2014 The Apache Software Foundation Licensed under the Apache License, Version 2.0

Apache Hive, Hive, Apache, the Apache feather logo, and the Apache Hive project logo are trademarks of The Apache Software Foundation. Other names appearing on the site may be trademarks of their respective owners.

Источник

Apache hive install windows

Before proceeding with Hive installation, Hadoop should be installed first. Refer Hadoop installation steps here

Start downloading the Hive most recent stable release from Apache download mirrors link: https://hive.apache.org/downloads.html

To download from Hadoop use the below command

Or use the below method to find the version after download from webpage.

ls command will display the downloaded file apache-hive-x.y.z-bin.tar.gz

Verify and Untar the archive file downloaded.

The below command is used to verify and untar the downloaded file.

ls command will display the downloaded file and untar file.

Copy the files to /usr/local/hive directory

Set the environment variable HIVE_HOME to point to the installation directory

Edit the hive-env.sh to append the below.

Now Hive installation got successfully completed. Hive requires an external database server to configure metastore.

The below are the latest version of Apache Derby based on the operating system while creating this tutorial.

Operating System Download File
Windows db-derby-10.12.1.1-bin.zip
UNIX, Linux, and Mac db-derby-10.12.1.1-bin.tar.gz

Choose the directory with write permissions for the user to install the Derby software. The below is installation procedure for windows and unix, linux and mac separately.

Windows Unix, linux and mac

Set the DERBY_INSTALL variable to the location where Derby installed.

Windows Unix, linux and mac

To use Derby in embedded mode, set CLASSPATH to include the jar files Derby.jar, Derbytools.jar.

Change directory into the DERBY_INSTALL/bin directory. For Derby embedded usage, the setEmbeddedCP.bat (Windows) and setEmbeddedCP (UNIX) scripts use the DERBY_INSTALL variable to set the CLASSPATH.

Windows Unix, linux and mac

Echo CLASSPATH to double check each entry in class path to verify that the jar file where it expected:

Windows Unix, linux and mac

Edit hive-site.xml and append the following lines between the and tag

JPOX properties can be specified in hive-site.xml. Changes required in the below file.

Hadoop must be installed in the path or cap the Hadoop by using below command.

Create /tmp and /user/hive/warehouse and set them chmod g+w in HDFS before a table create in Hive.

Commands to perform this setup:

Below commands are used to verify the Hive installation

After successful login the Hive prompt will be shown.

The metastore will not be created until the first query hits it. so trigger the below query.

Now you can run multiple Hive instances working on the same data simultaneously and remotely.

Источник

Apache Hive: установка и работа с базами данных

Оглавление:

1. Краткое описание Hive (что это и зачем).

2. Установка Hive.

3. Установка Derby.

4. Настройка мета-хранилища Derby и запуск Hive.

5. Настройка мета-хранилища MySQL для Hive.

6. Настройка клиент-серверного взаимодействия Hive (HiveServer2 и beeline).

Краткое описание Hive (что это и зачем).

В данной статье мы рассмотрим еще одно практическое применение Hadoop на примере фреймворка Hive.

Для работы Hive требуется установленный Hadoop в однонодовой или многонодовой конфигурации, в данном случае это неважно, так как устанавливается фреймворк только на Мастер-машине. Установка Hadoop описана в предыдущих статьях.

Приступим к установке.

Для начала необходимо запустить Мастер-машину и скачать необходимые дистрибутивы Hive и Derby.

Описание совместимости дистрибутивов Hive с Hadoop представлено на этой странице. Так как мы установили Hadoop 2.9.1, подходит версия Hive release 2.3.6. Скачиваем файл apache-hive-2.3.6-bin.tar.gz либо с помощью браузера, либо командой wget.

Далее смотрим версии Apache Derby по совместимости с установленной версией Java здесь. Так как мы устанавливали 8-ю версию, Derby 10.14.2.0 подходит. Качаем файл db-derby-10.14.2.0-bin.tar.gz

Далее распакуем скачанные архивы в текущем каталоге Downloads и перенесем их содержимое в каталог /usr/local/.

Распаковать архив hive:

tar zxvf apache-hive-2.3.6-bin.tar.gz

Далее переносим содержимое:

sudo mv apache-hive-2.3.6-bin /usr/local/hive

Перейдем в созданный каталог:

Увидим следующее содержимое каталога:

Далее необходимо прописать переменные окружения в файле bashrc:

Перейти в домашний каталог и открыть файл в текстовом редакторе:

В конце файла прописать следующие строки:

Мой пример представлен на рисунке ниже

Теперь пропишем каталог установки Hadoop в настройках hive. Для этого необходимо создать файл настроек на основе шаблона в каталоге /usr/local/hive/conf

sudo cp hive-env.sh.template hive-env.sh

Прописать путь к Hadoop

sudo gedit hive-env.sh

И добавить строку: export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.1

Установка hive завершена, теперь установим базу данных Derby.

Последовательность действий такая же как и с Hive: распаковываем архив в каталоге Downloads, извлеченный каталог db-derby-10.14.2.0-bin копируем в каталог /usr/local/Derby:

sudo mv db-derby-10.14.2.0-bin /usr/local/Derby

Далее в файле bashrc пропишем следующие строки:

Создать файл мета-хранилища Derby:

На этом все для Derby.

Настройка мета-хранилища и запуск Hive.

cp hive-default.xml.template hive-site.xml

Теперь откроем файл для редактирования и вставим следующие строки (смотрите рисунок):

Обратите внимание на строку jdbc:derby, путь к метахранилищу должен соответствовать вашему!

sudo gedit jpox.properties

Прописать в нем следующее:

javax.jdo.option.ConnectionURL = jdbc:derby://Master1:1527/usr/local/hive/metastore_db;create = true

Внимание на выделенную строку! Имя хоста и путь должны соответствовать вашим.

Далее необходимо инициализировать метахранилище:

Если ошибок (exeption) нет, все прошло успешно.

Осталось настроить каталоги HDFS для Hive и назначить им права доступа:

Все готово к запуску Hive:

Если у вас вывод как на картинке снизу, поздравляем, вы запустили командную строку Hive!

Если все успешно, проверим работоспособность командой:

Точка с запятой обязательны! Результат такой:

Если все так, то все работает правильно. Иногда требуется запуск сервера Derby руками (если show tables тупит и выдает ошибку) с помощью команды startNetworkServer

Почему-то у меня получилось именно так, выдает ошибку:

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Решение проблемы пока не нашел, поэтому запускаем еще один терминал CTRL+SHIFT+T и в нем запускаем startNetworkServer. Запустить новую консоль нужно, так как сервер блокирует вывод, можно запустить демоном, пока не пробовал. Мой результат на рисунке ниже.

Настройка мета-хранилища MySQL для Hive.

Как пишут в Интернете, Derby используется в тестовых сборках, в реальных кластерах используется метахранилище MySQL. Его настройкой мы и займемся в этом разделе.

1.Для начала необходимо проверить, установлена ли СУБД MySQL в вашей системе с помощью команды mysql. На серверных системах MySQL обычно в комплекте, почему для мастера выгодно использовать их.

Если «command not found«, приступаем к установке, в противном случае пропускаем этот шаг и переходим на этап 2 (установка java-коннектора).

Установка MySQL: sudo apt-get install mysql-server

ВАЖНО. если в процессе установки у вас не был запрошен пароль для пользователя root, запускаем мастер настройки, в котором устанавливаем пароль. Обратите внимание на уровень безопасности, если выберете medium или strong, потом запаритесь устанавливать пароль для пользователя.

Далее вводим новый пароль как показано на картинке и соглашаемся с изменениями, введя Y(y) и нажав Enter. Остальные настройки пропускаем через Enter.

После удачной установки входим в консоль mysql:

Вводим наш пароль по запросу системы, и если видим вывод как на картинке, продолжаем, все работает!

Выйти из консоли mysql

2. Устанавливаем mysql java коннектор:

sudo apt-get install libmysql-java

Тут проблем вроде никаких не возникает, поэтому создадим ссылку на коннектор командой:

3.Теперь настроим метахранилище Hive и создадим для него пользователя.

Войдем в консоль mysql и введем команды.

ВАЖНО. Для команд mysql точка с запятой в конце строки обязательна!

Создадим базу для метахранилища

mysql> CREATE DATABASE metastore;

mysql> USE metastore;

Создадим пользователя для базы данных, имя пользователя и пароль обязательно запомнить! Если при создании пользователя ругается на стойкость пароля, значит надо установить более сложный или изменить переменные mysql типа validate_password%

mysql> CREATE USER ‘hiveuser’@’%’ IDENTIFIED BY ‘hivepassword’;

mysql> GRANT all on *.* to ‘hiveuser’@localhost identified by ‘hivepassword’;

mysql> flush privileges;

Теперь перейдем в настройки HIve. Для этого нужно внести изменения в файл hive-site.xml (создать из шаблона hive-default.xml.template):

Следует отметить, что все свойства уже прописаны в файле, нужно лишь изменить значения, нужные подчеркнуты на картинке.

Так же добавить в начало следующие настройки дополнительных каталогов:

Теперь осталось только применить схему для метахранилища, это делается с помощью следующих команд:

На этом все готово, теперь можно запустить Hive и протестировать, запустив команды создания таблиц.

Exception in thread «main» java.lang.RuntimeException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/hduser/79c24ab4-e094-4079-85fc-2d8d632c8113. Name node is in safe mode.

Проблема: Name node работает в защищенном режиме.

org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10002.

Проблема: Порт, прописанный в hive-site.xml, занят.

Решение: Изменить номер порта на другой.

Настройка клиент-серверного взаимодействия Hive (HiveServer2 и beeline).

В предыдущих разделах мы научились работать с таблицами hive локально с помощью командной строки hive.

В этом разделе мы настроим и запустим сервер hive (HiveServer2) в режиме thrift-http и подключимся к нему с помощью встроенного клиента beeline.

Настройка сервера HiveServer2.

В файл настроек Hadoop добавить переменные для доступа нашего пользователя к hive.

Открыть для редактирования файл core-site.xml в каталоге hadoop. В нашем случае команда такая:

добавить в него переменные hadoop.proxyuser.hduser.hosts и hadoop.proxyuser.hduser.groups со значением * как показано на рисунке

Далее необходимо внести изменения в файл hive-site.xml.

В нем необходимо указать номер порта thrift-сервера, уровень логирования ошибок сервером, режим работы сервера (http или binary).

Мои настройки представлены на картинке:

Пройдемся по настройкам подробнее:

hive.server2.thrift.http.port— важный параметр, по номеру этого порта мы будем стучаться на сервер. Значение может быть произвольным, лишь бы порт был не занят. Если при попытке подключения будет выдаваться ошибка connection refused, необходимо изменить номер порта.

hive.server2.transport.mode— важный параметр, режим, в котором будет осуществляться взаимодействие, я выбрал http.

Остальные параметры можно не изменять, а cliservice вообще не трогать, я его привел просто для понимания, что за параметр будем указывать в клиенте.

Высокий уровень логирования ошибок позволит нам получить больше информации об ошибках.

Все готово к запуску сервера. Запустим его как сервис с помощью команды:

Результат выполнения представлен на рисунке

Не забываем запустить hadoop!

Как мы видим, сервер блокирует командную строку, так как в ней будут отображаться результаты работы на стороне сервера, поэтому для дальнейшей работы необходимо открыть еще один терминал (Ctrl+Alt+t). Не забываем менять пользователя на hduser! (sudo su hduser)

Теперь запустим встроенный hive-клиент beeline.

Клиент beeline находится в каталоге $HIVE_HOME/bin

Запускается командой beeline

Мы вошли в командную строку клиента beeline, в которой уже будем набирать команды подключения к удаленной базе и команды работы с базами и таблицами.

Подключимся к серверу с помощью команды:

Если вывод как на картинке, мы успешно подключились к базе! Для проверки работы можно набрать команду show tables; на что получим список таблиц и сервер в своем терминале ответит OK

Теперь мы научились удаленно подключаться к Hive.

В следующем разделе мы научимся создавать таблицы, загружать в них данные и работать с ними.

Комментарии

Комментировать могуть только зарегистрированные пользователи

Источник

Шаг 1: Проверка установки JAVA

Если Java уже установлена в вашей системе, вы увидите следующий ответ:

Если java не установлен в вашей системе, выполните приведенные ниже шаги для установки java.

Установка Java

Шаг I:

Затем jdk-7u71-linux-x64.tar.gz будет загружен в вашу систему.

Шаг II:

Как правило, вы найдете загруженный файл Java в папке Downloads. Проверьте его и извлеките файл jdk-7u71-linux-x64.gz, используя следующие команды.

Шаг III:

Чтобы сделать Java доступным для всех пользователей, вы должны переместить его в папку «/ usr / local /». Откройте root и введите следующие команды.

Шаг IV:

Для настройки переменных PATH и JAVA_HOME добавьте следующие команды в файл

Теперь примените все изменения в текущей работающей системе.

Шаг V:

Используйте следующие команды для настройки альтернатив Java:

Шаг 2: Проверка установки Hadoop

Если Hadoop уже установлен в вашей системе, вы получите следующий ответ:

Если Hadoop не установлен в вашей системе, выполните следующие действия:

Загрузка Hadoop

Загрузите и извлеките Hadoop 2.4.1 из Apache Software Foundation, используя следующие команды.

Установка Hadoop в псевдо-распределенном режиме

Следующие шаги используются для установки Hadoop 2.4.1 в псевдораспределенном режиме.

Шаг I: Настройка Hadoop

Вы можете установить переменные среды Hadoop, добавив следующие команды в файл

Теперь примените все изменения в текущей работающей системе.

Шаг II: настройка Hadoop

Вы можете найти все файлы конфигурации Hadoop в папке «$ HADOOP_HOME / etc / hadoop». Вам необходимо внести соответствующие изменения в эти файлы конфигурации в соответствии с вашей инфраструктурой Hadoop.

Ниже приведен список файлов, которые вы должны отредактировать для настройки Hadoop.

Файл core-site.xml содержит такую информацию, как номер порта, используемый для экземпляра Hadoop, память, выделенная для файловой системы, лимит памяти для хранения данных и размер буферов чтения / записи.

Файл hdfs-site.xml содержит такую информацию, как значение данных репликации, путь namenode и путь datanode в ваших локальных файловых системах. Это означает место, где вы хотите хранить инфраструктуру Hadoop.

Допустим, следующие данные.

Примечание. В приведенном выше файле все значения свойств определяются пользователем, и вы можете вносить изменения в соответствии с инфраструктурой Hadoop.

Этот файл используется, чтобы указать, какую платформу MapReduce мы используем. По умолчанию Hadoop содержит шаблон yarn-site.xml. Прежде всего вам необходимо скопировать файл из mapred-site, xml.template в файл mapred-site.xml, используя следующую команду.

Проверка правильности установки Hadoop

Следующие шаги используются для проверки установки Hadoop.

Шаг I: Настройка узла имени

Ожидаемый результат заключается в следующем.

Шаг II: Проверка Hadoop dfs

Следующая команда используется для запуска dfs. Выполнение этой команды запустит вашу файловую систему Hadoop.

Ожидаемый результат выглядит следующим образом:

Шаг III: Проверка скрипта пряжи

Следующая команда используется для запуска скрипта пряжи. Выполнение этой команды запустит ваши демоны пряжи.

Ожидаемый результат выглядит следующим образом:

Шаг IV: доступ к Hadoop в браузере

Шаг V: Проверьте все приложения для кластера

Шаг 3: Загрузка Hive

Мы используем hive-0.14.0 в этом уроке. Вы можете скачать его, перейдя по следующей ссылке http://apache.petsads.us/hive/hive-0.14.0/. Предположим, он загружается в каталог / Downloads. Здесь мы загружаем архив Hive именем «apache-hive-0.14.0-bin.tar.gz» для этого урока. Следующая команда используется для проверки загрузки:

При успешной загрузке вы увидите следующий ответ:

Шаг 4: Установка Hive

Следующие шаги необходимы для установки Hive в вашей системе. Предположим, что архив Hive загружен в каталог / Downloads.

Извлечение и проверка Hive Archive

Следующая команда используется для проверки загрузки и извлечения архива куста:

При успешной загрузке вы увидите следующий ответ:

Копирование файлов в каталог / usr / local / hive

Настройка среды для Hive

Следующая команда используется для выполнения файла

Шаг 5: Настройка Hive

Hive установка успешно завершена. Теперь вам требуется внешний сервер базы данных для настройки Metastore. Мы используем базу данных Apache Derby.

Шаг 6: Загрузка и установка Apache Derby

Следуйте инструкциям ниже, чтобы загрузить и установить Apache Derby:

Скачиваем Apache Derby

Следующая команда используется для загрузки Apache Derby. Загрузка занимает некоторое время.

Следующая команда используется для проверки загрузки:

При успешной загрузке вы увидите следующий ответ:

Извлечение и проверка архива Derby

Следующие команды используются для извлечения и проверки архива Derby:

При успешной загрузке вы увидите следующий ответ:

Копирование файлов в каталог / usr / local / derby

Настройка среды для Derby

Вы можете настроить среду Derby, добавив следующие строки в файл

Следующая команда используется для выполнения файла

Создать каталог для хранения Metastore

Установка Derby и настройка среды завершены.

Шаг 7: Настройка Метасторка Hive

Отредактируйте файл hive-site.xml и добавьте следующие строки между тегами и :

Создайте файл с именем jpox.properties и добавьте в него следующие строки:

Шаг 8: Проверка установки Hive

Следующие команды используются для проверки установки Hive :

При успешной установке Hive вы получите следующий ответ:

Следующая примерная команда выполняется для отображения всех таблиц:

Источник

Поделиться с друзьями
Советы экспертов и специалистов
Adblock
detector