coens TISTORY

무주향

altvirus — Wed, 18 Oct 2017 22:37:45 +0900

밀가루가 아니라 보리 수제비

서연의 집

altvirus — Wed, 18 Oct 2017 13:33:33 +0900

울산 - 109제면소

altvirus — Mon, 2 Oct 2017 12:32:18 +0900

생각보다 맛있다. 뽕신 같은 스타일

저 해물들 누가 좀 안먹어주나

밥을 약간 먹고 싶었는데, 한 공기 전체는 많은듯 하여 참았는데, 다먹고 고개를 드니 셀프코너 밥솥에서 밥을 푸는 사람이 보였다

흰짬뽕 빨간짬뽕 두가지

경주 - 슈만과클라라

altvirus — Mon, 2 Oct 2017 10:10:54 +0900

경주 계획에서 맨 처음 생각했다. 경주에서 중요코스는 불국사가 보다도 여기.

메뉴가 자세히 기억은 안나고 막연하게 커피가 참 맛났다는 느낌만 있었다

가격은 매우 사악하다. 추천 드립커피라고 있는 곳에 있는 적힌 메뉴들은 모두 만원에 육박.

아메리카노와 단팥빵 하나를 먹으니 만원이 넘는다

울진 - 탈원전 반대

altvirus — Mon, 2 Oct 2017 10:06:27 +0900

포항 - 지경리 등대

altvirus — Mon, 2 Oct 2017 10:04:26 +0900

울진 - 흥부시장

altvirus — Mon, 2 Oct 2017 09:49:01 +0900

정동진

altvirus — Mon, 2 Oct 2017 09:44:35 +0900

울진 - 부구리

altvirus — Sun, 1 Oct 2017 10:40:08 +0900

새벽에 울리는 알람에 잠에 깼다가 짜증스레 다시 자려는데 창밖이 문득 눈에 들어와 큰 용기를 내어 몸을 일으켰다. 일출같은데. 아 여기 동해바다지.

참으로 압도적 경관

그러고보니 바닷가 일출은 처음 보는거 같다.
아. 해를 보지는 못했지 ㅎㅎ

강릉 - 허균허난설헌기념관

altvirus — Sat, 30 Sep 2017 12:58:28 +0900

계획에만 있다가 스킵하려던 참이었는데, 순두부 먹고 나오는 길에 이정표가 보여서 이동했다

오죽헌보다 여기가 더 좋았다. 담백한 기운이랄까.

역시 어느대학인지의 학생놈들이 엄청 시끄럽게 떠들어댔고, 제기차기를 했다.

움직이다 보니 어느 가족과 동선이 겹쳐 계속 마주쳤는데, 엄마아빠가 아이에게 이 대단한 남매의 문학얘기를 해주는걸 보며 살짝 웃음이 났다.

강릉 - 토박이할머니 순두부

altvirus — Sat, 30 Sep 2017 12:50:38 +0900

알려진 "토담순두부"는 엄청 기다리고 해야할 것 같아서 여기로 왔다. 아침7시부터 한다는 건 좀 신기했다

순두부 전골 1인분. 전골이 1인분 주문이 되는건 처음 봤다. 평범한 비쥬얼의 보글보글 뚝배기. 못먹는 어패류 두개를 건져냈다. 칼칼하게 매콤한 만을 내는 고추조각들도 얼른 건졌다. 담백한 순두부맛.

깜짝 놀란건 저기 저 하얀 두부. 저게 초두부인가? "초"라는 글자가 들어가므로 당연히 신맛의 음식일 것이라 생각했는데, 깜짝 놀랄만큼 맛있었다.

강릉 - 오죽헌

altvirus — Sat, 30 Sep 2017 12:36:27 +0900

생각보다 걍 그랬다. 모든것은 그냥 십수년전 복원판들이고 어느대학인지의 사학과 녀석들이 시끄러웠다. 아. 전남대 옷을 입고들 있었던듯도

사실 신사임당에 대한 호기심으로 간 측면이 많은데, 정말 유시민의 말처럼 "여자가 대단하지 않냐?"로 모아지는 멘트들이 좀 그랬다.

율곡기념관 건물내에서 본 조충도(로 만든 애니메이션)에 잠시 홀렸었다

조경은 참 좋았다

강릉 - 키크러스 커피

altvirus — Sat, 30 Sep 2017 12:20:05 +0900

검색해서 나오는 산토리니 커피에 이러저러한 혹평이 더러 있어 맘을 고쳐먹고 왔다.

배가 불러서 아이스아메 하나만 주문했는데, 커피맛은 그저 그렇다. 스벅이 나을 수도

연탄빵 연탄케익이 있는데 연탄같이 생겼다. 가격이 비싸고 혼자 먹을 양이 아니고 싸가서 두고 먹을만한거 같지도 않아 그냥 돌아섰다. 앞 자리 두사람이 먹고 있는데 한개만 주면 안대요?

날씨와 기온은 더할나위 없고 바다는 늘 여기 있다

요로케 보이는 이자리가 마음에 들었다

산

앞에 여자 머리 무서워

mysql 사용자 생성

altvirus — Mon, 24 Aug 2015 09:49:34 +0900

CREATE USER 'USER'@'11.22.33.44' IDENTIFIED BY 'password';

GRANT EXECUTE, PROCESS, SELECT, SHOW DATABASES, SHOW VIEW, ALTER, ALTER ROUTINE, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, CREATE VIEW, DELETE, DROP, EVENT, INDEX, INSERT, REFERENCES, TRIGGER, UPDATE, CREATE USER, FILE, LOCK TABLES, RELOAD, REPLICATION CLIENT, REPLICATION SLAVE, SHUTDOWN, SUPER ON *.* TO 'abcd'@'111.222.333.444' WITH GRANT OPTION;

FLUSH PRIVILEGES;

wowza 그리고 썸네일 php

altvirus — Thu, 28 May 2015 17:41:37 +0900

ffmpeg 썸네일 추출

http://stackoverflow.com/questions/10240972/create-thumbnail-image-from-video-in-server-in-php

- flow player

	<!doctype html>
	<html>
	<head>
	<script src="http://releases.flowplayer.org/js/flowplayer-3.2.13.min.js"></script>
	</head>

	<body>
	<div style="width:640px;height:480px">
	<a class="rtmp" href="mp4:gs.mp4">플레이</a>
	</div>

	<script>
	$f("a.rtmp", "http://releases.flowplayer.org/swf/flowplayer-3.2.18.swf", {
	clip: {
	provider: 'rtmp'
	},
	plugins: {
	rtmp: {
	url: "flowplayer.rtmp-3.2.13.swf",
	netConnectionUrl: 'rtmp://v6.cine21.com:1935/coens'
	}
	}
	});
	</script>

	</body>
	</html>

- jwplayer

http://www.wowza.com/forums/content.php?484-How-to-use-JW-Player-with-Wowza-Streaming-Engine

jwplayer('playerHaNFsYPqDHYx').setup({

file: 'rtmp://v6.cine21.com:1935/coens/mp4:gs.mp4',

image: '//www.longtailvideo.com/content/images/jw-player/lWMJeVvV-876.jpg',

width: '100%',

aspectratio: '16:9'

});

</script>

그리고, nimble

http://blog.wmspanel.com/2013/11/streaming-vod-digitalocean-nimble-streamer.html

리소스

altvirus — Tue, 21 Apr 2015 15:16:32 +0900

개발

자바 관련 블로그 하나

altvirus — Mon, 20 Apr 2015 12:05:59 +0900

http://www.journaldev.com/dev/java/j2ee

자동완성 위한 매핑설정

altvirus — Mon, 13 Apr 2015 18:08:44 +0900

DELETE cine21

PUT /cine21

{

"settings": {

"analysis": {

"analyzer": {

"korean_analyzer" : {

"type" : "custom",

"tokenizer": "korean_tokenizer",

"filter" : ["stop", "lowercase", "trim", "synonym"]

"ngram_analyzer" : {

"type" : "custom",

"tokenizer" : "ngram_tokenizer",

"filter" : ["lowercase", "trim","synonym"]

"edge_ngram_analyzer" : {

"type" : "custom",

"tokenizer" : "edge_ngram_tokenizer",

"filter" : ["lowercase", "trim","synonym"]

}

"tokenizer": {

"korean_tokenizer": {

"type": "mecab_ko_standard_tokenizer",

"compound_noun_min_length": 100

"ngram_tokenizer" : {

"type" : "nGram",

"min_gram" : "1",

"max_gram" : "5",

"token_chars": [ "letter", "digit", "punctuation", "symbol" ]

"edge_ngram_tokenizer" : {

"type" : "edgeNGram",

"min_gram" : "1",

"max_gram" : "5",

"token_chars": [ "letter", "digit", "punctuation", "symbol" ]

}

"filter": {

"synonym" : {

"type" : "synonym",

"synonyms" : [

"탐, 톰",

"플래이어, 플레이어"

]

}

"mappings": {

"movie" : {

"analyzer" : "korean_analyzer",

"index_analyzer" : "edge_ngram_analyzer",

"search_analyzer" : "edge_ngram_analyzer",

"properties": {

"title" : {

"type": "string",

"fields" : {

"h_pf" : {"type" : "string", "store" : "no", "index" : "not_analyzed", "omit_norms" : true, "index_options" : "offsets", "term_vector" : "with_positions_offsets", "include_in_all" : false, "boost": 20},

"h_ko" : {"type" : "string", "index_analyzer" : "korean_analyzer", "boost": 3},

"h_ng" : {"type" : "string", "index_analyzer" : "ngram_analyzer", "boost": 1},

"h_ed" : {"type" : "string", "index_analyzer" : "edge_ngram_analyzer", "boost": 2}

}

GET /cine21/_search

{

"query": {

"bool": {

"should": [

{"prefix": {

"title.h_pf": "창"

}},{"term": {

"title.h_ko": "창"

}},{"term": {

"title.h_ed": "창"

}},{"term": {

"title.h_ng": "창"

}}

"minimum_should_match": 1

}

analyzer 테스트

altvirus — Mon, 13 Apr 2015 16:31:14 +0900

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=korean_analyzer&pretty=true' -d '멀티플레이어를 자처'

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=ngram_analyzer&pretty=true' -d '멀티플레이어를 자처'

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=edge_ngram_analyzer&pretty=true' -d '멀티플레이어를 자처'

매핑 설정

altvirus — Mon, 13 Apr 2015 15:49:21 +0900

DELETE cine21

PUT /cine21

{

"settings": {

"analysis": {

"analyzer": {

"korean_analyzer" : {

"type" : "custom",

"tokenizer": "korean_tokenizer",

"filter" : ["stop", "lowercase", "trim"]

"ngram_analyzer" : {

"type" : "custom",

"tokenizer" : "ngram_tokenizer",

"filter" : ["lowercase", "trim"]

"edge_ngram_analyzer" : {

"type" : "custom",

"tokenizer" : "edge_ngram_tokenizer",

"filter" : ["lowercase", "trim"]

}

"tokenizer": {

"korean_tokenizer": {

"type": "mecab_ko_standard_tokenizer",

"compound_noun_min_length": 100

"ngram_tokenizer" : {

"type" : "nGram",

"min_gram" : "1",

"max_gram" : "5",

"token_chars": [ "letter", "digit", "punctuation", "symbol" ]

"edge_ngram_tokenizer" : {

"type" : "edgeNGram",

"min_gram" : "1",

"max_gram" : "5",

"token_chars": [ "letter", "digit", "punctuation", "symbol" ]

}

"mappings": {

"movie" : {

"analyzer" : "korean_analyzer",

"index_analyzer" : "korean_analyzer",

"search_analyzer" : "korean_analyzer",

"properties": {

"title" : {

"type": "string",

"fields" : {

"h_ko" : {"type" : "string", "index_analyzer" : "korean_analyzer"},

"h_ng" : {"type" : "string", "index_analyzer" : "ngram_analyzer"},

"h_ed" : {"type" : "string", "index_analyzer" : "edge_ngram_analyzer"}

}

POST /cine21/movie

{

"title" : "멀티플레이어를 자처"

}

GET /cine21/_search

{

"query": {

"term": {

"title.h_ed": "자"

}

analyzer 테스트

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=korean_analyzer&pretty=true' -d '멀티플레이어를 자처'

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=ngram_analyzer&pretty=true' -d '멀티플레이어를 자처'

curl -XGET 'http://localhost:9200/cine21/_analyze?analyzer=edge_ngram_analyzer&pretty=true' -d '멀티플레이어를 자처'

인스타그램 Feed 가져오기

altvirus — Wed, 8 Apr 2015 14:13:17 +0900

http://www.blueprintinteractive.com/blog/how-instagram-api-fancybox-simplified

Authentication

The first thing we need is an access token. Instagram uses OAuth 2.0 protocol for simple, but effective authentication. I could tell you how to retrieve access tokens but then I'd have to kill you (And everything I've done is documented on Instagram's Developer page). Instead, to make your lives easier, I've provided an easy way for you to attain your access token and user id. Click here to retrieve your access token and user ID.

Instagram has a 5000 request per hour rate limit. This is high in comparison to twitter and similar services so bundling requests to avoid the hitting the limit may not be necessary unless you have high volumes of traffic.

Retrieve Images

Now we are ready to get our images. See the code below to make this happen. In our example, we are using PHP's CURL library to make our requests.

<?php
  function fetchData($url){
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_TIMEOUT, 20);
    $result = curl_exec($ch);
    curl_close($ch); 
    return $result;
  }
  $result = fetchData("https://api.instagram.com/v1/users/ID-GOES-HERE/media/recent/?access_token=TOKEN-GOES-HERE");
  $result = json_decode($result);
  foreach ($result->data as $post) {
    // Do something with this data.
  }
?>

The Final Product

This uses my Instagram account. As you can see, I pretty much never use it. Click on one of the images below to see the Fancybox integration.

자주 사용되는 iptables 명령들

altvirus — Mon, 30 Mar 2015 17:48:55 +0900

http://crm.vpscheap.net/knowledgebase.php?action=displayarticle&id=29

1. Delete Existing Rules

Before you start building new set of rules, you might want to clean-up all the default rules, and existing rules. Use the iptables flush command as shown below to do this.

iptables -F
(or)
iptables --flush

2. Set Default Chain Policies

The default chain policy is ACCEPT. Change this to DROP for all INPUT, FORWARD, and OUTPUT chains as shown below.

iptables -P INPUT DROP
iptables -P FORWARD DROP
iptables -P OUTPUT DROP

When you make both INPUT, and OUTPUT chain’s default policy as DROP, for every firewall rule requirement you have, you should define two rules. i.e one for incoming and one for outgoing.

In all our examples below, we have two rules for each scenario, as we’ve set DROP as default policy for both INPUT and OUTPUT chain.

If you trust your internal users, you can omit the last line above. i.e Do not DROP all outgoing packets by default. In that case, for every firewall rule requirement you have, you just have to define only one rule. i.e define rule only for incoming, as the outgoing is ACCEPT for all packets.

3. Block a Specific ip-address

Before we proceed further will other examples, if you want to block a specific ip-address, you should do that first as shown below. Change the “x.x.x.x” in the following example to the specific ip-address that you like to block.

BLOCK_THIS_IP="x.x.x.x"
iptables -A INPUT -s "$BLOCK_THIS_IP" -j DROP

This is helpful when you find some strange activities from a specific ip-address in your log files, and you want to temporarily block that ip-address while you do further research.

You can also use one of the following variations, which blocks only TCP traffic on eth0 connection for this ip-address.

iptables -A INPUT -i eth0 -s "$BLOCK_THIS_IP" -j DROP
iptables -A INPUT -i eth0 -p tcp -s "$BLOCK_THIS_IP" -j DROP

4. Allow ALL Incoming SSH

The following rules allow ALL incoming ssh connections on eth0 interface.

iptables -A INPUT -i eth0 -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

5. Allow Incoming SSH only from a Sepcific Network

The following rules allow incoming ssh connections only from 192.168.100.X network.

iptables -A INPUT -i eth0 -p tcp -s 192.168.100.0/24 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

In the above example, instead of /24, you can also use the full subnet mask. i.e “192.168.100.0/255.255.255.0″.

6. Allow Incoming HTTP and HTTPS

The following rules allow all incoming web traffic. i.e HTTP traffic to port 80.

iptables -A INPUT -i eth0 -p tcp --dport 80 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 80 -m state --state ESTABLISHED -j ACCEPT

The following rules allow all incoming secure web traffic. i.e HTTPS traffic to port 443.

iptables -A INPUT -i eth0 -p tcp --dport 443 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT

7. Combine Multiple Rules Together using MultiPorts

When you are allowing incoming connections from outside world to multiple ports, instead of writing individual rules for each and every port, you can combine them together using the multiport extension as shown below.

The following example allows all incoming SSH, HTTP and HTTPS traffic.

iptables -A INPUT -i eth0 -p tcp -m multiport --dports 22,80,443 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp -m multiport --sports 22,80,443 -m state --state ESTABLISHED -j ACCEPT

8. Allow Outgoing SSH

The following rules allow outgoing ssh connection. i.e When you ssh from inside to an outside server.

iptables -A OUTPUT -o eth0 -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

Please note that this is slightly different than the incoming rule. i.e We allow both the NEW and ESTABLISHED state on the OUTPUT chain, and only ESTABLISHED state on the INPUT chain. For the incoming rule, it is vice versa.

9. Allow Outgoing SSH only to a Specific Network

The following rules allow outgoing ssh connection only to a specific network. i.e You an ssh only to 192.168.100.0/24 network from the inside.

iptables -A OUTPUT -o eth0 -p tcp -d 192.168.100.0/24 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

10. Allow Outgoing HTTPS

The following rules allow outgoing secure web traffic. This is helpful when you want to allow internet traffic for your users. On servers, these rules are also helpful when you want to use wget to download some files from outside.

iptables -A OUTPUT -o eth0 -p tcp --dport 443 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT

Note: For outgoing HTTP web traffic, add two additional rules like the above, and change 443 to 80.

11. Load Balance Incoming Web Traffic

You can also load balance your incoming web traffic using iptables firewall rules.

This uses the iptables nth extension. The following example load balances the HTTPS traffic to three different ip-address. For every 3th packet, it is load balanced to the appropriate server (using the counter 0).

iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 0 -j DNAT --to-destination 192.168.1.101:443
iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 1 -j DNAT --to-destination 192.168.1.102:443
iptables -A PREROUTING -i eth0 -p tcp --dport 443 -m state --state NEW -m nth --counter 0 --every 3 --packet 2 -j DNAT --to-destination 192.168.1.103:443

12. Allow Ping from Outside to Inside

The following rules allow outside users to be able to ping your servers.

iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT
iptables -A OUTPUT -p icmp --icmp-type echo-reply -j ACCEPT

13. Allow Ping from Inside to Outside

The following rules allow you to ping from inside to any of the outside servers.

iptables -A OUTPUT -p icmp --icmp-type echo-request -j ACCEPT
iptables -A INPUT -p icmp --icmp-type echo-reply -j ACCEPT

14. Allow Loopback Access

You should allow full loopback access on your servers. i.e access using 127.0.0.1

iptables -A INPUT -i lo -j ACCEPT
iptables -A OUTPUT -o lo -j ACCEPT

15. Allow Internal Network to External network.

On the firewall server where one ethernet card is connected to the external, and another ethernet card connected to the internal servers, use the following rules to allow internal network talk to external network.

In this example, eth1 is connected to external network (internet), and eth0 is connected to internal network (For example: 192.168.1.x).

iptables -A FORWARD -i eth0 -o eth1 -j ACCEPT

16. Allow outbound DNS

The following rules allow outgoing DNS connections.

iptables -A OUTPUT -p udp -o eth0 --dport 53 -j ACCEPT
iptables -A INPUT -p udp -i eth0 --sport 53 -j ACCEPT

17. Allow NIS Connections

If you are running NIS to manage your user accounts, you should allow the NIS connections. Even when the SSH connection is allowed, if you don’t allow the NIS related ypbind connections, users will not be able to login.

The NIS ports are dynamic. i.e When the ypbind starts it allocates the ports.

First do a rpcinfo -p as shown below and get the port numbers. In this example, it was using port 853 and 850.

rpcinfo -p | grep ypbind

Now allow incoming connection to the port 111, and the ports that were used by ypbind.

iptables -A INPUT -p tcp --dport 111 -j ACCEPT
iptables -A INPUT -p udp --dport 111 -j ACCEPT
iptables -A INPUT -p tcp --dport 853 -j ACCEPT
iptables -A INPUT -p udp --dport 853 -j ACCEPT
iptables -A INPUT -p tcp --dport 850 -j ACCEPT
iptables -A INPUT -p udp --dport 850 -j ACCEPT

The above will not work when you restart the ypbind, as it will have different port numbers that time.

There are two solutions to this: 1) Use static ip-address for your NIS, or 2) Use some clever shell scripting techniques to automatically grab the dynamic port number from the “rpcinfo -p” command output, and use those in the above iptables rules.

18. Allow Rsync From a Specific Network

The following rules allows rsync only from a specific network.

iptables -A INPUT -i eth0 -p tcp -s 192.168.101.0/24 --dport 873 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 873 -m state --state ESTABLISHED -j ACCEPT

19. Allow MySQL connection only from a specific network

If you are running MySQL, typically you don’t want to allow direct connection from outside. In most cases, you might have web server running on the same server where the MySQL database runs.

However DBA and developers might need to login directly to the MySQL from their laptop and desktop using MySQL client. In those case, you might want to allow your internal network to talk to the MySQL directly as shown below.

iptables -A INPUT -i eth0 -p tcp -s 192.168.100.0/24 --dport 3306 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 3306 -m state --state ESTABLISHED -j ACCEPT

20. Allow Sendmail or Postfix Traffic

The following rules allow mail traffic. It may be sendmail or postfix.

iptables -A INPUT -i eth0 -p tcp --dport 25 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 25 -m state --state ESTABLISHED -j ACCEPT

21. Allow IMAP and IMAPS

The following rules allow IMAP/IMAP2 traffic.

iptables -A INPUT -i eth0 -p tcp --dport 143 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 143 -m state --state ESTABLISHED -j ACCEPT

The following rules allow IMAPS traffic.

iptables -A INPUT -i eth0 -p tcp --dport 993 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 993 -m state --state ESTABLISHED -j ACCEPT

22. Allow POP3 and POP3S

The following rules allow POP3 access.

iptables -A INPUT -i eth0 -p tcp --dport 110 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 110 -m state --state ESTABLISHED -j ACCEPT

The following rules allow POP3S access.

iptables -A INPUT -i eth0 -p tcp --dport 995 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 995 -m state --state ESTABLISHED -j ACCEPT

23. Prevent DoS Attack

The following iptables rule will help you prevent the Denial of Service (DoS) attack on your webserver.

iptables -A INPUT -p tcp --dport 80 -m limit --limit 25/minute --limit-burst 100 -j ACCEPT

In the above example:

-m limit: This uses the limit iptables extension
–limit 25/minute: This limits only maximum of 25 connection per minute. Change this value based on your specific requirement
–limit-burst 100: This value indicates that the limit/minute will be enforced only after the total number of connection have reached the limit-burst level.

24. Port Forwarding

The following example routes all traffic that comes to the port 442 to 22. This means that the incoming ssh connection can come from both port 22 and 422.

iptables -t nat -A PREROUTING -p tcp -d 192.168.102.37 --dport 422 -j DNAT --to 192.168.102.37:22

If you do the above, you also need to explicitly allow incoming connection on the port 422.

iptables -A INPUT -i eth0 -p tcp --dport 422 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 422 -m state --state ESTABLISHED -j ACCEPT

25. Log Dropped Packets

You might also want to log all the dropped packets. These rules should be at the bottom.

First, create a new chain called LOGGING.

iptables -N LOGGING

Next, make sure all the remaining incoming connections jump to the LOGGING chain as shown below.

iptables -A INPUT -j LOGGING

Next, log these packets by specifying a custom “log-prefix”.

iptables -A LOGGING -m limit --limit 2/min -j LOG --log-prefix "IPTables Packet Dropped: " --log-level 7

Finally, drop these packets.

iptables -A LOGGING -j DROP

Intellij + spring mvc

altvirus — Mon, 23 Mar 2015 15:20:37 +0900

elasticsearch 08.매핑

altvirus — Fri, 13 Mar 2015 17:24:36 +0900

8. 매핑

8.1 매핑(_mapping) API

예제 8.1 books 인덱스의 매핑 확인

curl 'http://localhost:9200/books/_mapping?pretty'

예제 8.2 books/book 인덱스/타입에 read 필드 추가

curl -XPUT 'http://localhost:9200/books/_mapping/book' -d '
{
  "book" : {
    "properties" : {
      "read" : { "type" : "boolean" }
    }
  }
}'

예제 8.3 read 필드 추가 후 books 인덱스의 매핑 확인

curl 'http://localhost:9200/books/_mapping?pretty'

8.2 내장필드

예제 8.4 인덱스 생성 시 내장필드 설정

PUT <호스트>/<인덱스> -d '
{
  "mappings" : {
    "<타입명>" : {
      "<내장필드명>" : {
        … <필드 내용> …
      }
    }
  }
}'

예제 8.5 인덱스 생성 후 내장필드 설정

PUT <호스트>/<인덱스>/_mapping/<타입> -d '
{
  "<타입명>" : {
    "<내장필드명>" : {
      … <필드 내용> …
    }
  }
}'

8.2.1 _id

예제 8.6 _id 저장하도록 store 옵션 설정.

{
  "books" : {
    "_id" : {
      "index" : "not_analyzed",
      "store" : true
    }
  }
}

예제 8.7 books 인덱스의 id를 title 필드로 설정한 뒤 데이터 입력

curl -XDELETE 'http://localhost:9200/books'

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_id" : { "path" : "title" }
    }
  }
}'

curl -XPOST localhost:9200/_bulk --data-binary @5_1_books.json

예제 8.8 새로 입력된 데이터 검색

curl 'http://localhost:9200/books/_search?pretty'

예제 8.9 아이디를 이용해서 도큐먼트 조회

curl 'http://localhost:9200/books/book/King%20Lear?pretty'

8.2.2 _source

예제 8.10 books 인덱스의 _source 필드를 enabled : false로 설정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_source" : {"enabled" : false}
    }
  }
}'

예제 8.11 검색어 prince로 books 인덱스 검색

curl 'http://localhost:9200/books/_search?q=prince&pretty'

예제 8.12 title, author, category 필드만 저장하도록 지정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_source" : {
        "includes" : ["title", "author", "category"]
      }
    }
  }
}'

예제 8.13 검색어 prince로 검색

curl 'http://localhost:9200/books/_search?q=prince&pretty'

예제 8.14 p로 시작하는 필드는 저장하지 않도록 지정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_source" : {
        "excludes" : ["p*"]
      }
    }
  }
}'

예제 8.15 검색어 prince로 검색

curl 'http://localhost:9200/books/_search?q=prince&pretty'

8.2.3 _all

예제 8.16 _all 내장필드를 이용해서 plot 필드는 검색하지 않도록 지정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_all" : { "enabled" : true },
      "properties" : {
        "title" : {
          "include_in_all" : true,
          "type" : "string"
        },
        "plot" : {
          "include_in_all" : false,
          "type" : "string"
        }
      }
    }
  }
}'

예제 8.17 검색어 prince로 검색

curl 'http://localhost:9200/books/_search?q=prince&pretty'

8.2.4 _analyzer

예제 8.18 analyze_value 필드의 값을 분석기로 설정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_analyzer" : { "path" : " analyze_value" }
    }
  }
}'

8.2.5 _timestamp

예제 8.19 _timestamp 내장필드를 이용해서 타임스탬프 저장

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_timestamp" : {
        "enabled" : true,
        "store" : true
      }
    }
  }
}'

예제 8.20 검색어 prince로 title 필드와 _timestamp 필드 검색

curl -XGET 'http://localhost:9200/books/_search?pretty' -d '
{
  "fields" : [ "title" , "_timestamp" ],
  "query" : {
    "term" : { "_all" : "prince" }
  }
}'

8.2.6 _ttl(time to live)

예제 8.21 _ttl 내장필드를 이용해서 2일 뒤 데이터가 삭제되도록 설정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "_ttl" : {
        "enabled" : true,
        "default" : "2d"
      }
    }
  }
}'

8.3 데이터 타입

8.3.1 문자열

예제 8.22 필드 옵션을 적용해서 books 인덱스 매핑 생성

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "properties" : {
        "title" : { "type" : "string", "boost" : 2.0 },
        "category" : { "type" : "string", "index" : "not_analyzed" }
      }
    }
  }
}'

예제 8.23 title 필드에 boost 2.0 적용 후 prince로 검색

curl 'http://localhost:9200/books/_search?q=prince&pretty'

예제 8.24 category 필드를 science로 검색

curl 'http://localhost:9200/books/_search?q=category:science&pretty'

예제 8.25 category 필드를 Science fiction으로 검색

curl 'http://localhost:9200/books/_search?q=category:Science%20fiction&pretty'

8.3.2 숫자

예제 8.26 num_val 필드의 ignore_malformed 옵션을 true로 설정

curl -XPUT 'http://localhost:9200/test_nums' -d '
{
  "mappings" : {
    "test_num" : {
      "properties" : {
        "num_val" : { "type" : "integer", "ignore_malformed" : true }
      }
    }
  }
}'

예제 8.27 num_val 필드 값에 hello 입력 후 확인

curl -XPUT 'http://localhost:9200/test_nums/test_num/1' -d '
{
  "num_val" : "hello"
}'

curl 'http://localhost:9200/test_nums/test_num/1'

예제 8.28 num_val 필드의 통계 페이셋 확인

curl 'localhost:9200/test_nums/_search?pretty' -d '
{
  "facets" : {
    "num_stat" : {
      "statistical" : { "field" : "num_val" }
    }
  }
}'

8.3.3 날짜

8.3.4 불린

8.3.5 바이너리

8.3.6 객체

예제 8.29 name, age, married 필드를 가지는 user 필드 값

{
  "user" : {
    "name" : "Kim",
    "age" : 30,
    "married" : true
  }
}

예제 8.30 test_users 인덱스에 객체 타입의 user 필드 매핑 설정

curl -XPUT 'http://localhost:9200/test_users' -d '
{
  "mappings" : {
    "test_user" : {
      "properties" : {
        "user" : {
          "type" : "object",
          "properties" : {
            "name" : { "type" : "string" },
            "age" : { "type" : "integer" },
            "married" : { "type" : "boolean" }
          }
        }
      }
    }
  }
}'

예제 8.31 user 필드에 gender 필드 값을 추가로 입력

curl -XPUT 'http://localhost:9200/test_users/test_user/1' -d '
{
  "user" : {
    "name" : "Kim", "age" : 30, "married" : true, "gender" : "male"
  }
}'

예제 8.32 test_users 인덱스의 매핑 확인

curl 'http://localhost:9200/test_users/_mapping?pretty'

예제 8.33 dynamic 옵션을 false로 설정

curl -XPUT 'http://localhost:9200/test_users' -d '
{
  "mappings" : {
    "test_user" : {
      "properties" : {
        "user" : {
          "type" : "object",
          "dynamic" : false,
          "properties" : {
            "name" : { "type" : "string" },
            "age" : { "type" : "integer" },
            "married" : { "type" : "boolean" }
          }
        }
      }
    }
  }
}'

예제 8.34 test_users 인덱스의 매핑 확인

curl 'http://localhost:9200/test_users/_mapping?pretty'

예제 8.35 test_users 인덱스의 매핑 확인

curl 'localhost:9200/test_users/_search?pretty' -d '
{
  "fields" : [ "user.name", "user.age", "user.married", "user.gender" ]
}'

8.3.7 중첩

예제 8.36 user 필드의 name, age, married 하위 필드

{
  "user" : [
    { "name" : "Kim", "age" : 30, "married" : true },
    { "name" : "Lee", "age" : 28, "married" : false }
  ]
}

예제 8.37 객제 필드의 하위 필드가 실제로 저장되는 형태

{
  "user.name" : [ "Kim", "Lee" ],
  "user.age" : [ 30, 28 ],
  "user.married" : [ true, false ]
}

예제 8.38 test_users 인덱스에 user 필드의 하위 필드 데이터 입력

curl -XPUT 'http://localhost:9200/test_users/test_user/1' -d '
{
  "user" : [
    { "name" : "Kim", "age" : 30, "married" : true },
    { "name" : "Lee", "age" : 28, "married" : false }
  ]
}'

예제 8.39 must(AND) 조건으로 user.name : kim, user.age : 28 검색

curl 'http://localhost:9200/test_users/_search?pretty' -d '
{
  "query" : {
    "bool" : {
      "must" : [
        { "match" : { "user.name" : "kim" } },
        { "match" : { "user.age" : 28 } }
      ]
    }
  }
}'

예제 8.40 중첩 타입으로 user 필드의 매핑 설정

curl -XPUT 'http://localhost:9200/test_users' -d '
{
  "mappings" : {
    "test_user" : {
      "properties" : {
        "user" : {
          "type" : "nested",
          "properties" : {
            "name" : { "type" : "string" },
            "age" : { "type" : "integer" },
            "married" : { "type" : "boolean" }
          }
        }
      }
    }
  }
}'

예제 8.41 중첩 필드의 하위 필드들이 실제로 저장되는 형태

{
  "user.name" : "Kim",
  "user.age" : 30,
  "user.married" : true
},
{
  "user.name" : "Lee",
  "user.age" : 28,
  "user.married" : false
}

예제 8.42 nested 질의문 방법

{
  "nested" : {
    "path" : <중첩 타입의 상위 필드명>,
    "score_mode" : <스코어 방식>,
    "query" : {
      <질의문>
    }
  }
}

예제 8.43 must(AND) 조건으로 user.name : kim, user.age : 30 검색

curl 'localhost:9200/test_users/_search?pretty' -d '
{
  "query" : {
    "nested" : {
      "path" : "user",
      "score_mode" : "avg",
      "query" : {
        "bool" : {
          "must" : [
            { "match" : { "user.name" : "kim" } },
            { "match" : { "user.age" : 30 } }
          ]
        }
      }
    }
  }
}'

예제 8.44 must(AND) 조건으로 user.name : kim, user.age : 28 검색

curl 'localhost:9200/test_users/_search?pretty' -d '
{
  "query" : {
    "nested" : {
      "path" : "user",
      "score_mode" : "avg",
      "query" : {
        "bool" : {
          "must" : [
            { "match" : { "user.name" : "kim" } },
            { "match" : { "user.age" : 28 } }
          ]
        }
      }
    }
  }
}'

8.3.8 좌표

예제 8.45 하위 필드 lat, lon의 숫자 값으로 입력

{
  "location" : {
    "lat" : 37.525308,
    "lon" : 126.926644
  }
}

예제 8.46 문자열로 입력. 위도-경도 순으로 입력

{
  "location" : "37.525308, 126.926644"
}

예제 8.47 배열로 입력. 경도-위도 순서로 입력

{
  "location" : [ 126.926644, 37.525308 ]
}

예제 8.48 위치 해시(geohash) 값으로 입력

{
  "location" : " wydm2r30v0mm"
}

예제 8.49 test_geos 인덱스의 매핑 설정

curl -XPUT http://localhost:9200/test_geos/ -d '
{
  "mappings" : {
    "test_geo" : {
      "properties" : {
        "name" : { "type" : "string" },
        "location" : { "type" : "geo_point" }
      }
    }
  }
}'

예제 8.50 name, location 값 입력

curl -XPUT 'http://localhost:9200/test_geos/test_geo/1' -d '
{
  "name" : "Conrad Seoul",
  "location" : "37.525308, 126.926644"
}'

예제 8.51 location 필드의 위도 37.53~37.52, 경도 126.92~126.93 범위의 값 검색

curl 'http://localhost:9200/test_geos/_search?pretty' -d '
{
  "filter" : {
    "geo_bounding_box" : {
      "location" : {
        "top_left" : { "lat" : 37.53, "lon" : 126.92 },
        "bottom_right" : { "lat" : 37.52, "lon" : 126.93 }
      }
    }
  }
}'

예제 8.52 name, location 값 입력

curl -XPUT 'http://localhost:9200/test_geos/test_geo/1' -d '
{
  "name" : "Conrad Seoul",
  "location" : "37.525308, 486.926644"
}'

예제 8.53 location 필드의 위도 37.53~37.52, 경도 126.92~126.93 범위의 값 검색

curl 'http://localhost:9200/test_geos/_search?pretty' -d '
{
  "filter" : {
    "geo_bounding_box" : {
      "location" : {
        "top_left" : { "lat" : 37.53, "lon" : 126.92 },
        "bottom_right" : { "lat" : 37.52, "lon" : 126.93 }
      }
    }
  }
}'

예제 8.54 normalize와 validate 옵션을 false로 매핑 설정

curl -XPUT http://localhost:9200/test_geos/ -d '
{
  "mappings" : {
    "test_geo" : {
      "properties" : {
        "name" : { "type" : "string" },
        "location" : {
          "type" : "geo_point",
          "normalize" : false,
          "validate" : false
        }
      }
    }
  }
}'

예제 8.55 location 필드의 위도 37.53~37.52, 경도 126.92~126.93 범위의 값 검색

curl 'http://localhost:9200/test_geos/_search?pretty' -d '
{
  "filter" : {
    "geo_bounding_box" : {
      "location" : {
        "top_left" : { "lat" : 37.53, "lon" : 126.92 },
        "bottom_right" : { "lat" : 37.52, "lon" : 126.93 }
      }
    }
  }
}'

예제 8.56 normalize와 validate 옵션을 false로 매핑 설정

curl -XPUT http://localhost:9200/test_geos/ -d '
{
  "mappings" : {
    "test_geo" : {
      "properties" : {
        "location" : {
          "type" : "geo_point"
          ,"geohash_prefix" : true
          ,"geohash_precision" : 10
        }
      }
    }
  }
}'

예제 8.57 위치 해시값 wydm2r30v0mm으로 검색

curl 'localhost:9200/test_geos/_search?pretty' -d '
{
  "query" : {
    "filtered" : {
      "query" : {
        "match_all" : {}
      },
      "filter" : {
        "geohash_cell": { "location": "wydm2r30v0mm" }
      }
    }
  }
}'

예제 8.58 위치 해시값 wydm2r30v 로 검색

curl 'localhost:9200/test_geos/_search?pretty' -d '
{
  "query" : {
    "filtered" : {
      "query" : {
        "match_all" : {}
      },
      "filter" : {
        "geohash_cell": { "location": "wydm2r30v" }
      }
    }
  }
}'

8.3.9 위치 모형

예제 8.59 location 필드를 geo_shape 타입으로 매핑정보 설정

curl -XPUT http://localhost:9200/test_geos/ -d '
{
  "mappings" : {
    "test_geo" : {
      "properties" : {
        "location" : {
          "type" : "geo_shape",
          "precision": 10
        }
      }
    }
  }
}'

예제 8.60 점. -77.03653, 38.387676 좌표의 점을 나타냄

{
  "location" : {
    "type" : "point",
    "coordinates" : [-77.03653, 38.897676]
  }
}

예제 8.61 선. 좌표 -77.03653, 38.387676에서부터 -77.009051, 38.889939까지 연결된 선을 나타냄

{
  "location" : {
    "type" : "linestring",
    "coordinates" : [[-77.03653, 38.897676], [-77.009051, 38.889939]]
  }
}

예제 8.62 다각형. corrdinates 값은 2차 배열로 되어 있으며 1번째 배열 값은 좌표들을 연결한 형태의 전체 다각형을, 그리고 2번째 배열 값은 좌표들을 연결한 형태의 구멍이 1번째 배열의 다각형 안에 있음을 나타냄

{
  "location" : {
    "type" : "polygon",
    "coordinates" : [
      [ [100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0] ],
      [ [100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2] ]
    ]
  }
}

예제 8.63 다중점. 102.0, 2.0 좌표와 103.0, 2.0 좌표 두 개의 점을 나타냄

{
  "location" : {
    "type" : "multipoint",
    "coordinates" : [
      [102.0, 2.0], [103.0, 2.0]
    ]
  }
}

예제 8.64 다중선. 선 배열을 값으로 가지고 있는 2차 배열

{
  "location" : {
    "type": "MultiLineString",
    "coordinates": [
      [ [100.0, 0.0], [101.0, 1.0] ],
      [ [102.0, 2.0], [103.0, 3.0] ]
    ]
  }
}

예제 8.65 다중다각형. 다각형 2차 배열을 값으로 가지고 있는 3차 배열

{
  "location" : {
    "type" : "multipolygon",
    "coordinates" : [
      [ [[102.0, 2.0], [103.0, 2.0], [103.0, 3.0], [102.0, 3.0], [102.0, 2.0]] ],
      [
        [[100.0, 0.0], [101.0, 0.0], [101.0, 1.0], [100.0, 1.0], [100.0, 0.0]],
        [[100.2, 0.2], [100.8, 0.2], [100.8, 0.8], [100.2, 0.8], [100.2, 0.2]]
      ]
    ]
  }
}

예제 8.66 사각형. 두 좌표를 대칭점으로 하는 사각형이다.

{
  "location" : {
    "type" : "envelope",
    "coordinates" : [ [-45.0, 45.0], [45.0, -45.0] ]
  }
}

예제 8.67 원. coordinates 좌표를 중심으로 radius 반지름만큼의 크기를 가진 원을 나타냄

{
  "location" : {
    "type" : "circle",
    "coordinates" : [-45.0, 45.0],
    "radius" : "100m"
  }
}

예제 8.68 컬렉션. geometries 필드에 서로 다른 위치 형태의 값들을 배열로 입력

{
  "location" : {
    "type": "geometrycollection",
    "geometries": [
      {
        "type": "point",
        "coordinates": [100.0, 0.0]
      },
      {
        "type": "linestring",
        "coordinates": [ [101.0, 0.0], [102.0, 1.0] ]
      }
    ]
  }
}

8.4 다중필드

8.4.1 다중필드

예제 8.69 title 필드의 다중필드로 raw 필드 설정

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "properties" : {
        "title" : {
          "type" : "string", "index" : "analyzed",
          "fields" : {
            "raw" : { "type" : "string", "index" : "not_analyzed"}
          }
        }
      }
    }
  }
}'

예제 8.70 title.raw 필드 검색

curl 'http://localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : { "title.raw" : "The Prince and the Pauper" }
  }
}'

8.4.2 토큰 수

예제 8.71 title 필드의 토큰 수를 저장하는 tokens 다중 필드

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "properties" : {
        "title" : {
          "type" : "string", "index" : "analyzed",
          "fields" : {
            "tokens" : {
              "type" : "token_count",
              "store" : true,
              "analyzer" : "standard"
            }
          }
        }
      }
    }
  }
}'

예제 8.72 title 필드 검색어 the 로 title, title.tokens 필드 출력

curl 'http://localhost:9200/books/_search?pretty' -d '
{
  "fields" : ["title", "title.tokens"],
  "query" : {
    "term" : { "title" : "the" }
  }
}'

8.4 필드 복사

예제 8.73 title, author 필드의 값을 pk_data 필드에 복사

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "properties" : {
        "title" : { "type" : "string", "copy_to" : "pk_data" },
        "author" : { "type" : "string", "copy_to" : "pk_data" },
        "pk_data" : { "type" : "string", "store" : true }
      }
    }
  }
}'

예제 8.74 title, author, pk_data 필드 값 확인

curl 'http://localhost:9200/books/_search?pretty' -d '
{
  "fields" : ["title", "author", "pk_data"],
  "query" : {
    "term" : { "_all" : "prince" }
  }
}'

예제 8.75 title 필드의 값을 title_1, title_2 필드에 복사

curl -XPUT 'http://localhost:9200/books' -d '
{
  "mappings" : {
    "book" : {
      "properties" : {
        "title" : { "type" : "string", "copy_to" : ["title_1", "title_2"] },
        "title_1" : { "type" : "string", "store" : true },
        "title_2" : { "type" : "string", "store" : true }
      }
    }
  }
}'

예제 8.76 title, title_1, title_2 필드 값 확인

curl 'http://localhost:9200/books/_search?pretty' -d '
{
  "fields" : ["title", "title_1", "title_2"],
  "query" : {
    "term" : { "_all" : "prince" }
  }
}'

elasticsearch 7. 질의(QueryDSL)

altvirus — Fri, 13 Mar 2015 16:10:10 +0900

7. 질의(QueryDSL)

7.1 쿼리

7.1.1 텀, 텀즈 쿼리

예제 7.1 title 필드 값이 prince인 도큐먼트를 텀 쿼리로 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : {
      "title" : "prince"
    }
  }
}'

예제 7.2 Prince로 검색하면 저장된 텀과 다르므로 결과에 나타나지 않음

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : {
      "title" : "Prince"
    }
  }
}'

예제 7.3 텀즈 쿼리를 이용해서 prince, king 텀 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "terms" : {
      "title" : ["prince","king"]
    }
  }
}'

예제 7.4 the, and, of 3개의 텀 중 2개 이상을 포함하는 도큐먼트 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "terms" : {
      "title" : ["the","and","of"],
      "minimum_should_match" : 2
    }
  }
}'

7.1.2 매치, 다중 매치(multi match) 쿼리

예제 7.5 title 필드를 The And로 매치 쿼리 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "match" : {
      "title" : "The And"
    }
  }
}'

예제 7.6 operator를 이용해서 검색 조건을 and로 변경

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "match" : {
      "title" : {
        "query" : "The And",
        "operator" : "and"
      }
    }
  }
}'

예제 7.7 analyzer를 이용해서 질의문에 공백 형태소 적용

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "match" : {
      "title" : {
        "query" : "prince king",
        "analyzer" : "whitespace"
      }
    }
  }
}'

예제 7.8 type: phrase를 사용해 and the 구문을 포함하는 도큐먼트 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "match" : {
      "title" : {
        "query" : "and the",
        "type" : "phrase"
      }
    }
  }
}'

예제 7.9 다중 매치 쿼리를 이용해서 prince king을 title, plot 필드에서 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "multi_match" : {
      "fields" : [ "title" , "plot" ],
      "query" : "prince king"
    }
  }
}'

7.1.3 불 쿼리

예제 7.10 불 쿼리를 이용한 다중 조건 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "bool" : {
      "must" : {
        "term" : { "title" : "the" }
      },
      "must_not" : {
        "term" : { "plot" : "prince" }
      },
      "should" : [
        { "term" : { "title" : "time" } },
        { "term" : { "title" : "world" } }
      ]
    }
  }
}'

7.1.4 문자열 쿼리

예제 7.11 문자열 쿼리로 title 필드에서 prince 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "query_string" : {
      "query" : "title:prince"
    }
  }
}'

예제 7.12 default_filed, default_operator로 문자열 쿼리 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "query_string" : {
      "query" : "prince king",
      "default_field" : "plot",
      "default_operator" : "and"
    }
  }
}'

7.1.5 접두어 쿼리

예제 7.13 접두어 쿼리로 질의어 prin 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "prefix" : {
      "title" : "prin"
    }
  }
}'

7.1.6 범위 쿼리

예제 7.14 범위 쿼리로 pages 필드가 50~149인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "range" : {
      "pages" : { "gte" : 50, "lt" : 150 }
    }
  }
}'

예제 7.15 범위 쿼리로 written 필드가 1600-01-01 ~ 1699-12-31인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "range" : {
      "written" : {
        "gte" : "1600-01-01",
        "lt" : "1699-12-31"
      }
    }
  }
}'

7.1.7 전체 매치 쿼리

예제 7.16 전체 매치 쿼리

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "match_all" : {}
  }
}'

7.1.8 퍼지 쿼리

예제 7.17 퍼지 쿼리를 이용한 질의어 tree 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "fuzzy" : {
      "title" : "tree"
    }
  }
}'

예제 7.18 퍼지 쿼리를 이용해 page 필드가 80~120인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "fuzzy" : {
      "pages" : {
        "value" : 100,
        "fuzziness" : 20
      }
    }
  }
}'

7.2 필터

7.2.1 텀, 텀즈 필터

예제 7.19 텀 필터를 이용해서 title 필드가 prince인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "term" : {
      "title" : "prince"
    }
  }
}'

예제 7.20 텀즈 필터를 이용해서 title 필드가 prince, king 인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "terms" : {
      "title" : ["prince", "king"]
    }
  }
}'

예제 7.21 title 필드가 and, the인 값을 execution: and로 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "terms" : {
      "title" : ["and", "the"],
      "execution" : "and"
    }
  }
}'

7.2.2 범위 필터

예제 7.22 범위 필터로 pages 필드가 50~149인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "range" : {
      "pages" : { "gte" : 50, "lt" : 150 }
    }
  }
}'

7.2.3 and, or, not 필터

예제 7.23 not 필터로 pages 필드가 50~149가 아닌 도큐먼트 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "not" : {
      "range" : {
        "pages" : { "gte" : 50, "lt" : 150 }
      }
    }
  }
}'

예제 7.24 and 필터로 pages 필드가 50~149이면서 title: the인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "and" : [
      {
        "range" : {
          "pages" : { "gte" : 50, "lt" : 150 }
        }
      },
      {
        "term" : { "title" : "the" }
      }
    ]
  }
}'

7.2.4 불 필터

예제 7.25 불 필터를 이용한 다중 조건 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "filter" : {
    "bool" : {
      "must" : {
        "term" : { "title" : "the" }
      },
      "must_not" : {
        "term" : { "plot" : "prince" }
      },
      "should" : [
        { "term" : { "title" : "time" } },
        { "term" : { "title" : "world" } }
      ]
    }
  }
}'

7.2.5 위치 필터

예제 7.26 geo_bounding_box 필터로 사각형 영역의 값을 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "filter" : {
    "geo_bounding_box" : {
      "location" : {
        "top_left" : { "lat" : 38.00, "lon" : 126.00 },
        "bottom_right" : { "lat" : 37.00, "lon" : 127.00 }
      }
    }
  }
}'

예제 7.27 geo_distance 필터로 위도 경도 37.52, 126.98을 중심으로 5km 이내에 있는 도큐먼트 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "filter" : {
    "geo_distance" : {
      "distance" : "5km",
      "location" : { "lat" : 37.52, "lon" : 126.98 }
    }
  }
}'

예제 7.28 geo_distance_range 필터로 5km~10km 사이에 있는 도큐먼트 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "filter" : {
    "geo_distance_range" : {
      "from" : "5km",
      "to" : "10km",
      "location" : { "lat" : 37.52, "lon" : 126.98 }
    }
  }
}'

예제 7.29 geo_polygon 필터로 삼각형 영역 사이의 값 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "filter" : {
    "geo_polygon" : {
      "location" : {
        "points" : [
          { "lat" : 38.00, "lon" : 127.00 },
          { "lat" : 37.00, "lon" : 127.00 },
          { "lat" : 38.00, "lon" : 128.00 }
        ]
      }
    }
  }
}'

elasticsearch 6. 페이셋과 어그리게이션

altvirus — Fri, 13 Mar 2015 11:01:14 +0900

6_1_hotels.json.txt

6.1 페이셋

예제 6.1 hotels 인덱스 매핑 설정

curl -XPUT http://localhost:9200/hotels/ -d '
{
  "mappings" : {
    "hotel" : {
      "properties" : {
        "name" : { "type" : "string" },
        "stars" : { "type" : "long" },
        "rooms" : { "type" : "long" },
        "location" : { "type" : "geo_point" },
        "city" : { "type" : "string" },
        "address" : { "type" : "string" },
        "internet" : { "type" : "boolean" },
        "service" : { "type" : "string", "index" : "not_analyzed" },
        "checkin": { "type" : "date" , "format" : "dateOptionalTime"}
      }
    }
  }
}'

예제 6.2 hotels 인덱스 데이터 입력

curl -XPOST localhost:9200/_bulk --data-binary @6_1_hotels.json

6.1.1 텀 페이셋

예제 6.3 service 필드의 텀 페이셋 검색

$ curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "query" : {
    "term" : { "name" : "seoul" }
  },
  "facets" : {
    "term_service" : {
      "terms" : {
        "field" : "service"
      }
    }
  }
}'

예제 6.4 상위 3개의 텀 페이셋 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "query" : {
    "term" : { "name" : "seoul" }
  },
  "facets" : {
    "term_service" : {
      "terms" : {
        "field" : "service",
        "size" : 3
      }
    }
  }
}'

예제 6.5 페이셋을 텀의 알파벳 오름차순으로 표시

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "query" : {
    "term" : { "name" : "seoul" }
  },
  "facets" : {
    "term_service" : {
      "terms" : { "field" : "service", "order" : "term" }
    }
  }
}'

6.1.2 범위 페이셋

예제 6.6 stars 필드의 값을 범위별로 페이셋으로 표시

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "range_stars" : {
      "range" : {
        "field" : "stars",
        "ranges" : [ {"to": 3}, {"from": 3, "to": 5}, {"from": 5} ]
      }
    }
  }
}'

예제 6.6 stars 필드의 값을 범위별로 페이셋으로 표시 - 2

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "range_service" : {
      "range" : {
        "stars" : [ {"to": 3}, {"from": 3, "to": 5}, {"from": 5} ]
      }
    }
  }
}'

예제 6.7 stars 필드로 간격을 구분하고 price 값을 집계한 페이셋

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "range_stars" : {
      "range" : {
        "key_field" : "stars",
        "value_field" : "price",
        "ranges" : [ {"to": 3}, {"from": 3, "to": 5}, {"from": 5} ]
      }
    }
  }
}'

6.1.3 히스토그램 페이셋

예제 6.8 rooms 필드의 값을 100 간격으로 구분한 페이셋

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "histo_rooms" : {
      "histogram" : {
        "field" : "rooms",
        "interval" : 100
      }
    }
  }
}'

예제 6.9 rooms 필드를 100 간격으로 구분하고 price 값을 집계한 페이셋

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "histo_rooms" : {
      "histogram" : {
        "key_field" : "rooms",
        "value_field" : "price",
        "interval" : 100
      }
    }
  }
}'

6.1.4 날짜 히스토그램 페이셋

예제 6.10 checkin 필드의 값을 1개월 간격으로 구분한 페이셋

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "histo_checkin" : {
      "date_histogram" : {
        "field" : "checkin",
        "interval" : "month"
      }
    }
  }
}'

6.1.5 필터와 질의 페이셋

예제 6.11 텀 페이셋 결과에 service : Spa 필터 적용

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "term_name" : {
      "terms" : { "field" : "service" },
      "facet_filter" : {
        "term" : { "service" : "Spa" }
      }
    }
  }
}'

예제 6.12 필터 페이셋을 사용해서 service : Spa인 텀 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "term_filter" : {
      "filter" : {
        "term" : { "service" : "Spa" }
      }
    }
  }
}'

예제 6.13 질의 페이셋을 사용해서 name이 seoul 또는 hotel인 값 검색

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "term_query" : {
      "query" : {
        "match" : { "name" : "seoul OR hotel" }
      }
    }
  }
}'

6.1.6 통계 페이셋

예제 6.14 통계 페이셋을 사용해서 price 필드 정보 출력

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "my_facet" : {
      "statistical" : { "field" : "price" }
    }
  }
}'

예제 6.15 stars 필드별로 price 필드 정보 출력

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "my_facet" : {
      "terms_stats" : {
        "key_field" : "stars",
        "value_field" : "price"
      }
    }
  }
}'

6.1.7 위치 거리 페이셋

예제 6.16 geo_distance 페이셋을 이용해 3km, 6km 간격으로 호텔 분리

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "geo" : {
      "geo_distance" : {
        "location" : {
          "lat" : 37.52,
          "lon" : 126.98
        },
        "ranges" : [
          { "to" : 3000 },
          { "from" : 3000, "to" : 6000 },
          { "from" : 6000, "to" : 9000 },
          { "from" : 9000 }
        ]
      }
    }
  }
}'

예제 6.17 거리 간격별 price 필드 값 계산

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "geo" : {
      "geo_distance" : {
        "location" : {
          "lat" : 37.52,
          "lon" : 126.98
        },
        "value_field" : "price",
        "ranges" : [
          { "to" : 3000 },
          { "from" : 3000, "to" : 6000 },
          { "from" : 6000, "to" : 9000 },
          { "from" : 9000 }
        ]
      }
    }
  }
}'

예제 6.18 km 단위를 이용해서 거리 간격별 price 필드 값 계산

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "facets" : {
    "geo" : {
      "geo_distance" : {
        "location" : {
          "lat" : 37.52,
          "lon" : 126.98
        },
        "value_field" : "price",
        "ranges" : [
          { "to" : 3 },
          { "from" : 3, "to" : 6 },
          { "from" : 6, "to" : 9 },
          { "from" : 9 }
        ],
        "unit" : "km"
      }
    }
  }
}'

6.2 어그리게이션

6.2.1 최소, 최대, 합, 평균, 개수 어그리게이션

예제 6.19 price 필드의 최소(min) 값

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_min" : {
      "min" : { "field" : "price" }
    }
  }
}'

예제 6.20 price 필드의 최대(max) 값

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_max" : {
      "max" : { "field" : "price" }
    }
  }
}'

예제 6.21 price 필드의 합(sum)

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_sum" : {
      "sum" : { "field" : "price" }
    }
  }
}'

예제 6.22 price 필드의 평균(avg)

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_avg" : {
      "avg" : { "field" : "price" }
    }
  }
}'

예제 6.23 price 필드의 개수(value_count)

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_cnt" : {
      "value_count" : { "field" : "price" }
    }
  }
}'

6.2.2 상태, 확장 상태 어그리게이션

예제 6.24 price 필드의 상태 정보

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_stats" : {
      "value_stats" : { "field" : "price" }
    }
  }
}'

예제 6.25 price 필드의 확장 상태 정보

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "price_ex_stats" : {
      "extended_stats" : { "field" : "price" }
    }
  }
}'

6.2.3 글로벌 어그리게이션

예제 6.26 name 필드에 seoul을 포함한 도큐먼트의 평균 price

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "query" : {
    "term" : { "name" : "seoul" }
  },
  "aggs" : {
    "avg_price" : {
      "avg" : { "field" : "price" }
    }
  }
}'

예제 6.27 global 어그리게이션 버킷에 담긴 도큐먼트의 평균 price

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "query" : {
    "term" : { "name" : "seoul" }
  },
  "aggs" : {
    "all_price" : {
      "global" : {},
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

6.2.4 필터, 누락 어그리게이션

예제 6.28 필터 어그리게이션 버킷에 담긴 도큐먼트의 price 평균

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "filter_name" : {
      "filter" : {
        "term" : { "name" : "seoul" }
      },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

예제 6.29 service 필드가 존재하지 않는 도큐먼트의 price 평균

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "missing_service" : {
      "missing" : { "field" : "service" },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

6.2.5 텀 어그리게이션

예제 6.30 stars 필드값의 텀별로 price 필드 값 평균 계산

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "term_stars" : {
      "terms" : { "field" : "stars" },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

예제 6.31 텀 명으로 내림차순 정렬

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "term_stars" : {
      "terms" : {
        "field" : "stars",
        "order" : { "_term" : "desc" }
      },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

예제 6.32 avg_price 하위 어그리게이션 값으로 오름차순 정렬

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "term_stars" : {
      "terms" : {
        "field" : "stars",
        "order" : { "avg_price" : "asc" }
      },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

6.2.6 범위, 날짜 범위 어그리게이션

예제 6.33 rooms 필드의 0~500, 500~1000, 1000~ 간격으로 price 평균값 계산

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "range_room" : {
      "range" : {
        "field" : "rooms",
        "ranges" : [{"to":500}, {"from":500, "to":1000}, {"from":1000}]
      },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

예제 6.34 range 어그리게이션 버킷에 키 속성 추가

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "range_room" : {
      "range" : {
        "field" : "rooms",
        "keyed" : true,
        "ranges" : [{"to":500}, {"from":500, "to":1000}, {"from":1000}]
      },
      "aggs" : {
        "avg_price" : {
          "avg" : { "field" : "price" }
        }
      }
    }
  }
}'

예제 6.35 date_range 어그리게이션을 이용해서 날짜 범위 구분

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "date_r_checkin" : {
      "date_range" : {
        "field" : "checkin",
        "format" : "yyyy-MM-dd",
        "ranges" : [ { "to" : "now-4M" }, { "from" : "now-4M" } ]
      }
    }
  }
}'

예제 6.36 date_range 어그리게이션을 이용해서 날짜 범위 구분

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "date_r_checkin" : {
      "date_range" : {
        "field" : "checkin",
        "format" : "yyyy-MM-dd",
        "ranges" : [ { "to" : "2014-03-05T12:30:45" }, { "from" : "2014-03-05T12:30:45" } ]
      }
    }
  }
}'

6.2.7 히스토그램, 날짜 히스토그램 어그리게이션

예제 6.37 rooms 필드를 500 간격으로 구분한 히스토그램 어그리게이션

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "histo_rooms" : {
      "histogram" : {
        "field" : "rooms",
        "interval" : 500
      }
    }
  }
}'

예제 6.38 min_doc_count: 0으로 지정해서 값이 없는 구간 표시

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "histo_rooms" : {
      "histogram" : {
        "field" : "rooms",
        "interval" : 300,
        "min_doc_count" : 0
      }
    }
  }
}'

예제 6.39 stats 하위 어그리게이션의 sum 값을 오름차순으로 정렬

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "histo_rooms" : {
      "histogram" : {
        "field" : "rooms",
        "interval" : 300,
        "order" : { "state_rooms.sum" : "asc" }
      },
      "aggs" : {
        "state_rooms" : {
          "stats" : { }
        }
      }
    }
  }
}'

예제 6.40 날짜 히스토그램을 이용해 1개월 간격으로 checkin 필드 구분

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "histo_checkin" : {
      "date_histogram" : {
        "field" : "checkin",
        "interval" : "1M",
        "format" : "yyyy-MM-dd E"
      }
    }
  }
}'

6.2.8 위치 거리, 위치 해시 그리드 어그리게이션

예제 6.41 3km 간격으로 위치 거리 어그리게이션 버킷 구분

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "geo_location" : {
      "geo_distance" : {
        "field" : "location",
        "origin" : "37.52, 126.98",
        "distance_type" : "plane",
        "unit" : "km",
        "ranges" : [{"to":3},{"from":3,"to":6},{"from":6,"to":9},{"from":9}]
      }
    }
  }
}'

예제 6.42 precision: 5 정밀도 값으로 위치 해시 그리드 구분

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "geohash_location" : {
      "geohash_grid" : {
        "field" : "location",
        "precision" : 5
      }
    }
  }
}'

예제 6.43 위도: 37~38 / 경도: 126~128에 속하는 도큐먼트 필터링

curl 'localhost:9200/hotels/_search?pretty' -d '
{
  "aggs" : {
    "geohash_filter" : {
      "filter" : {
        "geo_bounding_box" : {
          "location" : {
            "top_left" : "38.00, 126.00",
            "bottom_right" : "37.00, 127.00"
          }
        }
      },
      "aggs" : {
        "geoghash_location" : {
          "geohash_grid" : {
            "field" : "location",
            "precision" : 5
          }
        }
      }
    }
  }
}'

elasticsearch 5. 검색

altvirus — Fri, 13 Mar 2015 00:39:29 +0900

5. 검색

예제 5.1 5_1_books.json 파일 내용을 벌크 API로 입력

curl -XPOST localhost:9200/_bulk --data-binary @5_1_books.json

curl -XPOST localhost:9200/_bulk --data-binary @5_2_magazines.json

5.1 검색(_search) API

예제 5.2 books 인덱스, book 타입에서 hamlet 검색

curl 'localhost:9200/books/book/_search?q=hamlet&pretty'

예제 5.3 books 인덱스에서 hamlet 검색

curl 'localhost:9200/books/_search?q=hamlet&pretty'

예제 5.4 books, magazines 인덱스에서 time 검색

curl 'localhost:9200/books,magazines/_search?q=time&pretty'

예제 5.5 _all을 사용해 전체 인덱스에서 time 검색

curl 'localhost:9200/_all/_search?q=time&pretty'

예제 5.6 인덱스 지정을 생략해 전체 인덱스에서 time 검색

curl 'localhost:9200/_search?q=time&pretty'

5.2 URI 검색

5.2.1 q(query)

예제 5.7 전체 인덱스의 title 필드에서 time 검색

curl 'localhost:9200/_search?q=title:time&pretty'

예제 5.8 title 필드에 검색어 time과 machine을 AND 조건으로 검색

curl 'localhost:9200/_search?q=title:time%20AND%20machine&pretty'

5.2.2 df(default field)

예제 5.9 df 매개변수를 사용해서 title 필드에서 time 검색

curl 'localhost:9200/_search?q=time&df=title&pretty'

5.2.3 default_operator

예제 5.10 default_operator 매개변수를 사용해서 기본 조건 명령어를 AND로 지정

curl 'localhost:9200/_search?q=title:time%20machine&default_operator=AND&pretty'

5.2.4 explain

예제 5.11 explain 매개변수를 사용해서 검색 처리 결과 표시

curl 'localhost:9200/_search?q=title:time&explain&pretty'

5.2.5 _source

예제 5.12 _source 매개변수를 false로 설정해 도큐먼트 내용을 배제하고 검색

curl 'localhost:9200/_search?q=title:time&_source=false&pretty'

5.2.6 fields

예제 5.13 fields 매개변수를 사용해 title, author, category 필드만 출력

curl 'localhost:9200/_search?q=title:time&fields=title,author,category&pretty'

5.2.7 sort

예제 5.14 author 필드가 jules인 도큐먼트를 pages 필드를 기준으로 오름차순 정렬

curl 'localhost:9200/books/_search?q=author:jules&sort=pages&pretty'

예제 5.15 author 필드가 jules인 도큐먼트를 pages 필드를 기준으로 내림차순 정렬

curl 'localhost:9200/books/_search?q=author:jules&sort=pages:desc&pretty'

예제 5.16 author 필드가 jules인 도큐먼트를 title 필드를 기준으로 오름차순 정렬

curl 'localhost:9200/books/_search?q=author:jules&fields=title&sort=title&pretty'

예제 5.17 author 필드가 jules인 도큐먼트를 title 필드를 기준으로 내림차순 정렬

curl 'localhost:9200/books/_search?q=author:jules&fields=title&sort=title:desc&pretty'

5.2.8 timeout

5.2.9 from

예제 5.18 from 매개변수를 사용해서 2번째 결과부터 표시

curl 'localhost:9200/books/_search?q=author:jules&fields=title&from=1&pretty'

5.2.10 size

5.2.11 search_type

예제 5.19 search_type=query_then_fetch로 검색

curl 'localhost:9200/books/_search?size=1&q=author:William&search_type=query_then_fetch&fields=title,author&pretty'

예제 5.20 search_type=query_and_fetch로 검색

curl 'localhost:9200/books/_search?size=1&q=author:William&search_type=query_and_fetch&fields=title,author&pretty'

예제 5.21 search_type=scan으로 검색

curl 'localhost:9200/books/_search?q=author:william&fields=title,author&search_type=scan&scroll=10m&pretty'

예제 5.22 _scroll_id로 검색한 결과 출력

curl 'localhost:9200/_search/scroll/c2Nhbjs1OzUxOnpnazlUWENRUTJ5TURiU3BfUGlLQXc7NTI6emdrOVRYQ1FRMnlNRGJTcF9QaUtBdzs1Mzp6Z2s5VFhDUVEyeU1EYlNwX1BpS0F3OzUxOjhsZlJpemZIVDQ2R1JvZjR3SHdWcmc7NTI6OGxmUml6ZkhUNDZHUm9mNHdId1ZyZzsxO3RvdGFsX2hpdHM6Njs=?pretty'

5.3 리퀘스트 바디 검색

예제 5.23 리퀘스트 바디로 author 값이 william인 값 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : { "author" : "william" }
  }
}'

5.3.1 size, from, fields

예제 5.24 from:1, size:2, fields:[“title”,”category”] 조건으로 전체 필드에서 time 검색

curl 'localhost:9200/_search?pretty' -d '
{
  from : 1,
  size : 2,
  fields : ["title","category"],
  "query" : {
    "term" : { "_all" : "time" }
  }
}'

5.3.2 sort

예제 5.25 category - 내림차순, pages, title - 오름차순 순서로 검색 결과 정렬

curl 'localhost:9200/books/_search?pretty' -d '
{
  "fields" : ["title","author","category","pages"],
  "sort" : [{"category":"desc"},"pages","title"],
  "query" : {
    "term" : { "_all" : "time" }
  }
}'

예제 5.26 category mode: min으로 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "fields": ["title","author","category","pages"],
  "sort": [{"category":{"order":"desc","mode":"min"}},"pages","title"],
  "query": {
    "term": { "category" : "science" }
  }
}'

예제 5.27 category mode: max로 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "fields": ["title","author","category","pages"],
  "sort": [{"category":{"order":"desc","mode":"max"}},"pages","title"],
  "query": {
    "term": { "category" : "science" }
  }
}'

예제 5.28 title, author 필드로 정렬. author 필드가 없어서 검색 실패

curl 'localhost:9200/_search?pretty' -d '
{
  "fields" : ["title","author","category"],
  "sort" : ["title","author"],
  "query" : {
    "term" : { "title" : "time" }
  }
}'

예제 5.29 ignore_unmapped를 true로 설정. author 필드가 없이도 검색 성공

curl 'localhost:9200/_search?pretty' -d '
{
  "fields" : ["title","author","category"],
  "sort" : ["title",{"author":{"ignore_unmapped" : true}}],
  "query" : {
    "term" : { "title" : "time" }
  }
}'

예제 5.30 track_scores를 true로 설정. 점수 정보 표시

curl 'localhost:9200/_search?pretty' -d '
{
  "fields" : ["title","author","category"],
  "sort" : ["title",{"author":{"ignore_unmapped" : true}}],
  "track_scores": true,
  "query" : {
    "term" : { "title" : "time" }
  }
}'

5.3.3 _source

예제 5.31 _source: false로 설정해 도큐먼트 내용은 보이지 않게 검색

curl 'localhost:9200/books/_search?pretty' -d '
{
  "_source": false,
  "query": {
    "term": { "author": "william" }
  }
}'

예제 5.32 _source를 이용해서 title과 c로 시작하는 필드명의 값 표시

curl 'localhost:9200/magazines/_search?pretty' -d '
{
  "_source": ["title","c*"]
}'

예제 5.33 c로 시작하면서 ry로 끝나지 않는 필드 표시

curl 'localhost:9200/magazines/_search?pretty' -d '
{
  "_source": {
    "include": "c*",
    "exclude" : "*ry"
  }
}'

5.3.4 partial_fields, fielddata_fields

예제 5.34 title, category 필드 출력

curl 'localhost:9200/magazines/_search?pretty' -d '
{
  "fields":["title","category"]
}'

예제 5.35 c로 시작하면서 ry로 끝나지 않는 필드 표시

curl 'localhost:9200/magazines/_search?pretty' -d '
{
  "partial_fields" : {
    "partial_1" : {
      "include" : "c*",
      "exclude" : "*ry"
    }
  }
}'

예제 5.36 fielddata_fields를 사용해서 title, category 필드 출력

curl 'localhost:9200/magazines/_search?pretty' -d '
{
  "fielddata_fields" : ["title", "category"]
}'

5.3.5 highlight

예제 5.37 author 필드의 검색어 william 강조

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : { "author" : "william" }
  },
  "highlight" : {
    "fields" : { "author" : {} }
  }
}'

예제 5.38 strong 태그를 이용해 author 필드의 검색어 william 강조

curl 'localhost:9200/books/_search?pretty' -d '
{
  "query" : {
    "term" : { "author" : "william" }
  },
  "highlight" : {
    "pre_tags" : ["<strong>"],
    "post_tags" : ["</strong>"],
    "fields" : { "author" : { } }
  }
}'

PHP MySQLi Database Class

altvirus — Mon, 16 Feb 2015 08:06:50 +0900

템플릿 같은거 있으면 좋긴 할텐데;;;

https://github.com/joshcam/PHP-MySQLi-Database-Class

Initialization

To utilize this class, first import MysqliDb.php into your project, and require it.

require_once ('MysqliDb.php');

After that, create a new instance of the class.

$db = new MysqliDb ('host', 'username', 'password', 'databaseName');

Its also possible to set a table prefix:

$db->setPrefix ('my_');

Next, prepare your data, and call the necessary methods.

Insert Query

Simple example

$data = Array ("login" => "admin",
               "firstName" => "John",
               "lastName" => 'Doe'
)
$id = $db->insert('users', $data);
if($id)
    echo 'user was created. Id='.$id;

Insert with functions use

$data = Array(
    'login' => 'admin',
    'active' => true,
    'firstName' => 'John',
    'lastName' => 'Doe',
    'password' => $db->func('SHA1(?)',Array ("secretpassword+salt")),
    // password = SHA1('secretpassword+salt')
    'createdAt' => $db->now(),
    // createdAt = NOW()
    'expires' => $db->now('+1Y')
    // expires = NOW() + interval 1 year
    // Supported intervals [s]econd, [m]inute, [h]hour, [d]day, [M]onth, [Y]ear
);

$id = $db->insert ('users', $data);
if ($id)
    echo 'user was created. Id=' . $id;
else
    echo 'insert failed: ' . $db->getLastError();

Update Query

$data = Array (
    'firstName' => 'Bobby',
    'lastName' => 'Tables',
    'editCount' => $db->inc(2),
    // editCount = editCount + 2;
    'active' => $db->not()
    // active = !active;
);
$db->where ('id', 1);
if ($db->update ('users', $data))
    echo $db->count . ' records were updated';
else
    echo 'update failed: ' . $db->getLastError();

Select Query

After any select/get function calls amount or returned rows is stored in $count variable

$users = $db->get('users'); //contains an Array of all users 
$users = $db->get('users', 10); //contains an Array 10 users

or select with custom columns set. Functions also could be used

$cols = Array ("id", "name", "email");
$users = $db->get ("users", null, $cols);
if ($db->count > 0)
    foreach ($users as $user) { 
        print_r ($user);
    }

or select just one row

$db->where ("id", 1);
$user = $db->getOne ("users");
echo $user['id'];

$stats = $db->getOne ("users", "sum(id), count(*) as cnt");
echo "total ".$stats['cnt']. "users found";

or select one column or function result

$count = getValue ("users", "count(*)");
echo "{$count} users found";

Delete Query

$db->where('id', 1);
if($db->delete('users')) echo 'successfully deleted';

Generic Query Method

By default rawQuery() will filter out special characters so if you getting problems with it you might try to disable filtering function. In this case make sure that all external variables are passed to the query via bind variables

// filtering enabled
$users = $db->rawQuery('SELECT * from users where customerId=?', Array (10));
// filtering disabled
//$users = $db->rawQuery('SELECT * from users where id >= ?', Array (10), false);
foreach ($users as $user) {
    print_r ($user);
}

More advanced examples:

$params = Array(1, 'admin');
$users = $db->rawQuery("SELECT id, firstName, lastName FROM users WHERE id = ? AND login = ?", $params);
print_r($users); // contains Array of returned rows

// will handle any SQL query
$params = Array(10, 1, 10, 11, 2, 10);
$q = "(
    SELECT a FROM t1
        WHERE a = ? AND B = ?
        ORDER BY a LIMIT ?
) UNION (
    SELECT a FROM t2 
        WHERE a = ? AND B = ?
        ORDER BY a LIMIT ?
)";
$resutls = $db->rawQuery ($q, $params);
print_r ($results); // contains Array of returned rows

Where Method

This method allows you to specify where parameters of the query. WARNING: In order to use column to column comparisons only raw where conditions should be used as column name or functions cant be passed as a bind variable.

Regular == operator with variables:

$db->where ('id', 1);
$db->where ('login', 'admin');
$results = $db->get ('users');
// Gives: SELECT * FROM users WHERE id=1 AND login='admin';

Regular == operator with column to column comparison:

// WRONG
$db->where ('lastLogin', 'createdAt');
// CORRECT
$db->where ('lastLogin = createdAt');
$results = $db->get ('users');
// Gives: SELECT * FROM users WHERE lastLogin = createdAt;

$db->where ('id', 50, ">=");
// or $db->where ('id', Array ('>=' => 50));
$results = $db->get ('users');
// Gives: SELECT * FROM users WHERE id >= 50;

BETWEEN / NOT BETWEEN:

$db->where('id', Array (4, 20), 'BETWEEN');
// or $db->where ('id', Array ('BETWEEN' => Array(4, 20)));

$results = $db->get('users');
// Gives: SELECT * FROM users WHERE id BETWEEN 4 AND 20

IN / NOT IN:

$db->where('id', Array(1, 5, 27, -1, 'd'), 'IN');
// or $db->where('id', Array( 'IN' => Array(1, 5, 27, -1, 'd') ) );

$results = $db->get('users');
// Gives: SELECT * FROM users WHERE id IN (1, 5, 27, -1, 'd');

OR CASE

$db->where ('firstName', 'John');
$db->orWhere ('firstName', 'Peter');
$results = $db->get ('users');
// Gives: SELECT * FROM users WHERE firstName='John' OR firstName='peter'

NULL comparison:

$db->where ("lastName", NULL, '<=>');
$results = $db->get("users");
// Gives: SELECT * FROM users where lastName <=> NULL

Also you can use raw where conditions:

$db->where ("id != companyId");
$db->where ("DATE(createdAt) = DATE(lastLogin)");
$results = $db->get("users");

Or raw condition with variables:

$db->where ("(id = ? or id = ?)", Array(6,2));
$db->where ("login","mike")
$res = $db->get ("users");
// Gives: SELECT * FROM users WHERE (id = 2 or id = 2) and login='mike';

Optionally you can use method chaining to call where multiple times without referencing your object over an over:

$results = $db
    ->where('id', 1)
    ->where('login', 'admin')
    ->get('users');

Ordering method

$db->orderBy("id","asc");
$db->orderBy("login","Desc");
$db->orderBy("RAND ()");
$results = $db->get('users');
// Gives: SELECT * FROM users ORDER BY id ASC,login DESC, RAND ();

order by values example:

$db->orderBy('userGroup', 'ASC', array('superuser', 'admin', 'users'));
$db->get('users');
// Gives: SELECT * FROM users ORDER BY FIELD (userGroup, 'superuser', 'admin', 'users') ASC;

Grouping method

$db->groupBy ("name");
$results = $db->get ('users');
// Gives: SELECT * FROM users GROUP BY name;

Join table products with table users with LEFT JOIN by tenantID

JOIN method

$db->join("users u", "p.tenantID=u.tenantID", "LEFT");
$db->where("u.id", 6);
$products = $db->get ("products p", null, "u.name, p.productName");
print_r ($products);

Properties sharing

Its is also possible to copy properties

Simple pagination example:

$db->where ("agentId", 10);
$db->where ("active", true);

$customers = $db->copy ();
$res = $customers->get ("customers", Array (10, 10));
// SELECT * FROM customers where agentId = 10 and active = 1 limit 10, 10

$res = $db->getOne ("customers", "count(id) as cnt");
echo "total records found: " . $res['cnt'];
// SELECT count(id) FROM users where agentId = 10 and active = 1

Subqueries

Subquery in selects:

$ids = $db->subQuery ();
$ids->where ("qty", 2, ">");
$ids->get ("products", null, "userId");

$db->where ("id", $ids, 'in');
$res = $db->get ("users");
// Gives SELECT * FROM users WHERE id IN (SELECT userId FROM products WHERE qty > 2)

Subquery in inserts:

$userIdQ = $db->subQuery ();
$userIdQ->where ("id", 6);
$userIdQ->getOne ("users", "name"),

$data = Array (
    "productName" => "test product",
    "userId" => $userIdQ,
    "lastUpdated" => $db->now()
);
$id = $db->insert ("products", $data);
// Gives INSERT INTO PRODUCTS (productName, userId, lastUpdated) values ("test product", (SELECT name FROM users WHERE id = 6), NOW());

EXISTS / NOT EXISTS condition

$sub = $db->subQuery();
    $sub->where("company", 'testCompany');
    $sub->get ("users", null, 'userId');
$db->where (null, $sub, 'exists');
$products = $db->get ("products");
// Gives SELECT * FROM products WHERE EXISTS (select userId from users where company='testCompany')

Helper commands

Reconnect in case mysql connection died

if (!$db->ping())
    $db->connect()

Obtain an initialized instance of the class from another class

    $db = MysqliDb::getInstance();

Get last executed SQL query. Please note that function returns SQL query only for debugging purposes as its execution most likely will fail due missing quotes around char variables.

    $db->get('users');
    echo "Last executed query was ". $db->getLastQuery();

Transaction helpers

Please keep in mind that transactions are working on innoDB tables. Rollback transaction if insert fails:

$db->startTransaction();
...
if (!$db->insert ('myTable', $insertData)) {
    //Error while saving, cancel new record
    $db->rollback();
} else {
    //OK
    $db->commit();
}

파이썬 관련 강좌 올리는 님. django 등

altvirus — Sat, 14 Feb 2015 23:12:13 +0900

https://www.youtube.com/user/sentdex

이클립스 moonrise 테마

altvirus — Sat, 14 Feb 2015 14:07:39 +0900

https://github.com/guari/eclipse-ui-theme