Prestodb��Kafka��Oracle��PostgreSQL�ϲ�ѯ

����prestodb.

���ǿ��Ե���Prestodb��Facebook�����ķֲ�ʽSQL��ѯ���档�������ϵ�Prestodb����Ҫ�û��У���Facebook��Netflix��Airbnb��Dropbox��Uber��Linkedin��Twitter��

Presto�����ڲ�ѯPetabytes���ݵ�SQL���棨 一��PBB��=  一,0 二 四 Tberabytes���������ݿ�ʼ��Facebook����������ת�Ƶ���Դ���硣 Presto��Hive��Cassandra����ϵ���ݿ⣬MongoDB��Kafka�ȡ��������������ӵ����������������ѯ��������Դ��

���ǿ���ʹ�õ�����ѯ������������Դ��

������

���������� ����Red Hat Enterprise Linux  七������

����Presto�ļ���

https��// repo 一..maven.org./ maven 二 / com / com / facebook / presto / presto-server / 0. 二 五 四. 一/ presto-server-0. 二 五 四. 一������.gz.

����Presto���б�Ҫ������ȡ����װ�ļ��С������������ļ��У�

/ bin.

/ lib.��

/����

ע�⣺�������ļ��з��ڰ�װĿ¼�⣬���������ɵ��Ժ�����Prestodb��

����

������Ҫ���� /�ȵ� �ļ�����Presto��װĿ¼�£��������·������������ļ���

�ڵ�����

ÿ���ڵ����еĻ������� ��node.properties����

node.environment = dev.

node.id =.Turkcell-presto-demo-ersin

node.data-dir =/ xxx / yyyy / presto / data

JVM Config.

������ѡ�� ��jvm.config��������Java�������

-������

-xmx 一 六g.

-XX��+ USEGG 一GC

-xx��g 一heapregionsize =  三 二m

-xx��+ usegcoverheaddrimit

-xx��+ axplicicgcinvokesconcurrent

-xx��+ heapdumponoutofmemoryError

-xx��+ ExitOnoutofMemoryError

��������

Ϊpresto���������� ��config.properties����

Ŀ¼����

����������  八 二 一 一; ������Դ��

����/Ŀ¼��Ӧ���¶����´���Ŀ¼ /�ȵ� Ŀ¼�������Ŀ�����������Դ��Ŀ¼��Ϣ�����۽�ʹ����������Դ��������ʾ���ֽ���������

��־����

������־����  八 二 一 一; ��log.properties��

com.facebook.presto = Info.

prestodb�İ�װ��ϸ��Ϣ����

������

�������ڴ˴��ҵ�������������

�������ǽ�ʹ�����������ö�����Դ�ķ���Ȩ�ޡ�

��ʾ

����Kafka-Oracle-PostgreSQL���������������Ŀ���ǽ� 三����ͬ��Դ�뵥��SQL�����������/ etcĿ¼�´���/ catalogĿ¼�� 三����ͬ��Դ�������¡�

Kafka.

����Kafka.properties�ļ���

Connector.name = Kafka.

Kafka.Table-names = turkcell.sqlite-jdbc-ttech

Kafka.nodes = localhost�� 九0 九 二

������������һ����Ҫ�����ѡ���������Kafka�г��е�����������Ҫ����������ҽ����ݱ���ΪKafka��JSON�������Ա����������ֽڻ�Avro֮��������С����ඨ����Ϣ��ҪһЩ��������á��� / kafka. �����洴��Ŀ¼ /�ȵ� Ŀ¼�����Kafka���ƺ���Ҫ����ΪĿ¼������Kafka������������ͬ�����֡�

�ƺ���ģʽ���� Kafka.properties. ������ļ���turkcell����ˣ����������洴��turkcell.sqlite-jdbc-ttech.json�ļ���/ etc / kafka ��JSON���ݿ��Ա������£�

 一

 二

 三.

 四.

 五.

 六.

 七.

 八.

 九.

 一0.

 一 一.

 一 二.

 一 三.

 一 四.

 一 五.

 一 六.

 一 七.

 一 八.

 一 九.

 二0.

{

�� ������tablename���� ��sqlite-jdbc-ttech����

�� ������schemaname���� ��turkcell����

�� �������������ơ��� ��turkcell.sqlite-jdbc-ttech����

�� ��������Ϣ���� {

�� �� �� ������dataformat���� ��json����

�� �� �� ��������Ұ���� [

�� �� �� �� �� ����{

�� �� �� �� �� �� �� ���������ơ��� ��ID����

�� �� �� �� �� �� �� ������ӳ�䡱�� ��ID����

�� �� �� �� �� �� �� ���������͡��� ��������

�� �� �� �� �� ����}��

�� �� �� �� �� ����{

�� �� �� �� �� �� �� ���������ơ��� �����ơ���

�� �� �� �� �� �� �� ������ӳ�䡱�� �����ơ���

�� �� �� �� �� �� �� ���������͡��� ��varchar��

�� �� �� �� �� ����}

�� �� �� ����]

�� ����}

}

�׹��� -������Oracle.properties�ļ���

 一

 二

Connector.name = Oracle.

connection-url = jdbc��Oracle���ݣ�ersin / pwd_user @ // xxyy.zz.tgc�� 九 九 九 九 /����

��

postgreSQL -������PostgreSQL.Properties�ļ���

 一

 二

 三.

 四.

connector.name = postgreSQL.

connection-url = jdbc��postgreSQL��// localhost.�� 六 一0 六 一/ xxyydb.

���� - �û�=�û�

���� - ����= pwd_user

���ʹ�ú���Ļ��ͼ

�� ��/������ �ܡ��������е�����presto�������� ���ڰ�װĿ¼�У�֮�����ǿ��Բ鿴����Web��������в�ѯ����ϸ��Ϣ �������������Ĺ���ʱ���ж೤�������������˶೤ʱ�������Դ��

���ǿ���ͨ�������ӵ�presto CLI.�����������cli���� ���������غ��ҽ�����������Ϊ��presto.jar. �����临�Ƶ���װĿ¼�С����ǿ���ʹ�ÿͻ�������ͻ���Ӧ�ó�����./presto.jar. ������ǿ���ֱ���������дSQL��

һЩ���õ�����

• ��ʾĿ¼;
  

 一

 二

 三.

 四.

 五.

 六.

 七.

 八.

 九.

 一0.

 一 一.

 一 二.

 一 三.

presto>��ʾĿ¼;

����Ŀ¼

-------------

��jmx

��Kafka.

��Oracle.

��postgreSQL.

��ϵͳ

�� 五�У�

��

��ѯ 二0 二 一0 六 一 五_ 一 二 四 九 三 四_0000 九_ 九f 六xw����ɣ� 一�ڵ�

���ѣ� 一 九�ܣ� 一 九����� �� 一00.00����

0:00 [0��0b] [0��/ s.��0B./ s.]

• ��ʾOracle��ģʽ;

 一

 二

 三.

 四.

 五.

 六.

 七.

 八.

 九.

 一0.

 一 一.

 一 二.

 一 三.

 一 四.

 一 五.

 一 六.

 一 七.

 一 八.

presto>��ʾ�׹��ĵ�ģʽ;

�� �� �� �� ���ܹ�

-----------------------

��xx.

��yy.

��XXF.

��yy.

������

��BGFHGF.

��HJGHJ.

��....

��......

��......

��......

��

��ѯ 二0 二 一0 六 一 五_ 一 二 五 一 四 七_000 一 二_ 九f 六xw����ɣ� 一�ڵ�

���ѣ� 一 九�ܣ� 一 九����� �� 一00.00����

 一: 一 三 [ 八 一 七�У� 一0. 五kb] [ 一 一��/ s.�� 一 四 六B./ s.]

• ��ʾOracle.mutuser�ı��;

 一

 二

 三.

 四.

 五.

 六.

 七.

 八.

 九.

 一0.

presto>��Oracle.mutuser�ı���ʾ���;

�� �� �� �� �� ������

-----------------------

��test 一.

��test_ 二

�� 二�У�

��

��ѯ 二0 二 一0 六 一 五_ 一 二 五 四 一 八_000 一 三_ 九f 六xw����ɣ� 一�ڵ�

���ѣ� 一 九�ܣ� 一 九����� �� 一00.00����

0:0 一 [ 二�У� 七 二b] [ 二��/ s.�� 一0 四b./ s.]