impala 3.3 源码编辑安装

张映 发表于 2019-10-29

分类目录: hadoop/spark/scala

标签:, ,

没有用cdh系列,但是又想用impala 3.3。安装impala有二种方式,一种源码安装,一种是rpm安装。impala早期版本,还可以设置yum源,进行安装。

不管是哪种方式安装,最终都是cdh中的impala

1,下载地址

http://archive.apache.org/dist/impala/3.3.0/

2,安装依赖

# yum install boost boost-devel redhat-lsb  python-devel cyrus-sasl-devel \
cyrus-sasl lzo-devel lzo gcc-c++ gcc cmake maven python pip python-devel

# pip install sh thrift-sasl ibis

3,遇到的错误,以及解决办法

bitarray/_bitarray.c:9:20: fatal error: Python.h: 没有那个文件或目录

解决办法:

# yum install python-devel

sasl/saslwrapper.cpp:21:23: fatal error: sasl/sasl.h: 没有那个文件或目录

解决办法:

# yum install cyrus-sasl-devel cyrus-sasl

2019-10-29 10:53:43,051 Thread-3 INFO: Removing existing package directory /bigdata/apache-impala-3.3.0/toolchain/llvm-5.0.1-asserts-p1
2019-10-29 10:53:43,314 Thread-3 INFO: Downloading https://native-toolchain.s3.amazonaws.com/build/51-03506fd053/llvm/5.0.1-asserts-p1-gcc-4.9.2/llvm-5.0.1-asserts-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz to /bigdata/apache-impala-3.3.0/toolchain/llvm-5.0.1-asserts-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz (attempt 1)
2019-10-29 10:53:43,341 Thread-3 INFO: Extracting llvm-5.0.1-asserts-p1-gcc-4.9.2-ec2-package-centos-7.tar.gz
Traceback (most recent call last):
File "/bigdata/apache-impala-3.3.0/bin/bootstrap_toolchain.py", line 562, in <module>
bootstrap(toolchain_root, packages)
File "/bigdata/apache-impala-3.3.0/bin/bootstrap_toolchain.py", line 225, in bootstrap
execute_many(handle_package, packages)
File "/bigdata/apache-impala-3.3.0/bin/bootstrap_toolchain.py", line 401, in execute_many
return pool.map(f, args, 1)
File "/usr/lib64/python2.7/multiprocessing/pool.py", line 250, in map
return self.map_async(func, iterable, chunksize).get()
File "/usr/lib64/python2.7/multiprocessing/pool.py", line 554, in get
raise self._value
sh.ErrorReturnCode_2

这个最坑,解决办法,就是/bigdata/apache-impala-3.3.0/toolchain目录下,把报错的文件和文件删除重新安装。

4,安装impala

# cd /bigdata/apache-impala-3.3.0
# export IMPALA_HOME=`pwd`
# $IMPALA_HOME/buildall.sh -noclean -notests

出现以下内容说明成功了

impala 源码安装

impala 源码安装

impala 安装成功

impala 安装成功

安装成功后,我并没有启动impala,因为bin/impala-config.sh中的hadoop,hive,hbase等,根现有的冲突。如果改bin/impala-config.sh里面配置,也是比较麻烦。所以建议,还是不要源码安装。



转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2218.html

5 条评论

  1. liuzx 留言

    你好,我按照你的这个编译好了Apache-impala,我的hadoop是CDH版本,能够指点下,编译好后的impala怎么能够跟现有的CDH6.2版本连上使用。希望能够得到你的答复,万分感谢!

  2. 张映 留言

    cdh6.2自带的就有impala,启用就好,不建议编译。

  3. liuzx 留言

    是这样的,CDH 现有版本的最新impala 不支持 orc格式的ACID 功能,但是Apache-Impala 3.3.0好像已经支持,我想试下,不知道大佬能否指点下怎么配置连接。

  4. impala 留言

    您好,我想问一下您impala源码编译也是依赖cdh版本的hadoop之类的吗?存在Apache版本的吗?

  5. impala123 留言

    大佬,可以加一下你联系方式么?我在编译的时候感觉就像取经一样,九九八十一难,想请大佬协助下,可行么?