Skip to content

Linux

h2load で HTTP/2.0 に対応した負荷試験を実施する

HTTP のベンチマークツールは幾つかありますが、h2load は nghttp2 という HTTP 2.0 ライブラリに付属してくるだけあって、HTTP 2.0 にも対応したベンチマークツールです。 今回は h2load を CentOS7 上にインストールし、基本的な使い方を試してみます。

vSphere 上に Amazon Linux 2 をインストールする

最近の CentOS7 や Ubuntu16 以降は systemd ベースに移行しました。 しかし、Amazon Linux は CentOS6 ベースである為、Amazon Linux を使う限りは init (SysVinit/Upstart) も利用し続ける必要がありました。 その為、同じアプリケーションを両方で使いたい場合は「SysVinit/Upstart 系での動作テスト」と「Systemd 系での動作テスト」を実施する必要がありました… しかし最近、ついに Systemd ベースに移行した Amazon Linux 2 が発表されました!

しかも、Amazon Linux 2 は従来と同じく『クラウド上での利用』を想定した AMI イメージでの提供だけで無く、『オンプレミスでの利用』を想定した各種ハイパーバイザー向けイメージも提供されることになりました。 今回はオンプレミス環境の vSphere に Amazon Linux 2 をインストールしてみます。 但し、Amazon Linux 2 はまだリリース候補版(Release Candidate)ですので今後、各種の仕様が変更されたり、このメモの内容が使えなく可能性は大いにあります。

HTTPie のインストールと基本的な使い方

以前にhttpie でリクエストヘッダも表示する というメモを書きました。 改めて、HTTPie のインストール方法 / 基本的な使い方をメモしておきます。

インストール

Debian / Ubuntu にインストールする

標準リポジトリから apt-get でインストール可能です。

1
apt-get -y install httpie

RHEL / CentOS にインストールする

標準リポジトリにはパッケージが無い為、EPEL からインストールします。

1
2
yum -y install epel-release
yum -y install python2-httpie

pip でインストールする

pip でインストールするのも簡単です。 以下は pip 自体からインストールする場合の手順です。

1
2
3
yum -y install gcc python-devel
curl -L https://bootstrap.pypa.io/get-pip.py | python
pip install httpie

現時点ではバージョン 0.9.9 がインストールされました。

1
2
# http --version
0.9.9

使い方

基本的な使い方は以下の通りです。

オプションを指定せずに実行する

HTTPie の実体は(httpie では無くて)http です。 http に続けて URL を指定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
# http google.com
HTTP/1.1 302 Found
Cache-Control: private
Content-Length: 271
Content-Type: text/html; charset=UTF-8
Date: Tue, 05 Dec 2017 16:27:03 GMT
Location: http://www.google.co.jp/?gfe_rd=cr&dcr=0&ei=18gmWs-sF7LK8gfAsaOgDQ
Referrer-Policy: no-referrer

<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>302 Moved</TITLE></HEAD><BODY>
<H1>302 Moved</H1>
The document has moved
<A HREF="http://www.google.co.jp/?gfe_rd=cr&dcr=0&ei=18gmWs-sF7LK8gfAsaOgDQ">here</A>.
</BODY></HTML>

特定部分を表示する

特定部分を表示させるには --print= に続けて、以下のように指定します。

出力させたい部分 オプション 実行例
リクエスト・ヘッダ H http --print=H POST httpie.org key1=value1 key2=value2
リクエスト・ボディ B http --print=B POST httpie.org key1=value1 key2=value2
レスポンス・ヘッダ h http --print=h POST httpie.org key1=value1 key2=value2
レスポンス・ボディ b http --print=b POST httpie.org key1=value1 key2=value2

オプションは複数同時に指定することも可能です。 例えば、リクエスト・ヘッダとリクエスト・ボディを表示するのであれば --print=HB を指定します。

Cookie を保存したい場合は --sessoin オプションを指定します。 絶対パスを指定 しなかった 場合は ~/.httpie 配下に Cookie が保存されます。

1
# http --print=h --session=./cookie.txt http://www.whatarecookies.com/cookietest.asp

参考

HTTPie のヘルプ

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
# http --help
usage: http [--json] [--form] [--pretty {all,colors,format,none}]
            [--style STYLE] [--print WHAT] [--headers] [--body] [--verbose]
            [--all] [--history-print WHAT] [--stream] [--output FILE]
            [--download] [--continue]
            [--session SESSION_NAME_OR_PATH | --session-read-only SESSION_NAME_OR_PATH]
            [--auth USER[:PASS]] [--auth-type {basic,digest}]
            [--proxy PROTOCOL:PROXY_URL] [--follow]
            [--max-redirects MAX_REDIRECTS] [--timeout SECONDS]
            [--check-status] [--verify VERIFY]
            [--ssl {ssl2.3,ssl3,tls1,tls1.1,tls1.2}] [--cert CERT]
            [--cert-key CERT_KEY] [--ignore-stdin] [--help] [--version]
            [--traceback] [--default-scheme DEFAULT_SCHEME] [--debug]
            [METHOD] URL [REQUEST_ITEM [REQUEST_ITEM ...]]

HTTPie - a CLI, cURL-like tool for humans. <http://httpie.org>

Positional Arguments:

  These arguments come after any flags and in the order they are listed here.
  Only URL is required.


  METHOD
      The HTTP method to be used for the request (GET, POST, PUT, DELETE, ...).

      This argument can be omitted in which case HTTPie will use POST if there
      is some data to be sent, otherwise GET:

          $ http example.org               # => GET
          $ http example.org hello=world   # => POST

  URL
      The scheme defaults to 'http://' if the URL does not include one.
      (You can override this with: --default-scheme=https)

      You can also use a shorthand for localhost

          $ http :3000                    # => http://localhost:3000
          $ http :/foo                    # => http://localhost/foo

  REQUEST_ITEM
      Optional key-value pairs to be included in the request. The separator used
      determines the type:

      ':' HTTP headers:

          Referer:http://httpie.org  Cookie:foo=bar  User-Agent:bacon/1.0

      '==' URL parameters to be appended to the request URI:

          search==httpie

      '=' Data fields to be serialized into a JSON object (with --json, -j)
          or form data (with --form, -f):

          name=HTTPie  language=Python  description='CLI HTTP client'

      ':=' Non-string JSON data fields (only with --json, -j):

          awesome:=true  amount:=42  colors:='["red", "green", "blue"]'

      '@' Form file fields (only with --form, -f):

          cs@~/Documents/CV.pdf

      '=@' A data field like '=', but takes a file path and embeds its content:

           essay=@Documents/essay.txt

      ':=@' A raw JSON field like ':=', but takes a file path and embeds its content:

          package:=@./package.json

      You can use a backslash to escape a colliding separator in the field name:

          field-name-with\:colon=value


Predefined Content Types:
  --json, -j
      (default) Data items from the command line are serialized as a JSON object.
      The Content-Type and Accept headers are set to application/json
      (if not specified).

  --form, -f
      Data items from the command line are serialized as form fields.

      The Content-Type is set to application/x-www-form-urlencoded (if not
      specified). The presence of any file fields results in a
      multipart/form-data request.


Output Processing:
  --pretty {all,colors,format,none}
      Controls output processing. The value can be "none" to not prettify
      the output (default for redirected output), "all" to apply both colors
      and formatting (default for terminal output), "colors", or "format".

  --style STYLE, -s STYLE
      Output coloring style (default is "solarized"). One of:

          abap, algol, algol_nu, arduino, autumn, borland, bw,
          colorful, default, emacs, friendly, fruity, igor, lovelace,
          manni, monokai, murphy, native, paraiso-dark, paraiso-light,
          pastie, perldoc, rainbow_dash, rrt, solarized, tango, trac,
          vim, vs, xcode

      For this option to work properly, please make sure that the $TERM
      environment variable is set to "xterm-256color" or similar
      (e.g., via `export TERM=xterm-256color' in your ~/.bashrc).


Output Options:
  --print WHAT, -p WHAT
      String specifying what the output should contain:

          'H' request headers
          'B' request body
          'h' response headers
          'b' response body

      The default behaviour is 'hb' (i.e., the response headers and body
      is printed), if standard output is not redirected. If the output is piped
      to another program or to a file, then only the response body is printed
      by default.

  --headers, -h
      Print only the response headers. Shortcut for --print=h.

  --body, -b
      Print only the response body. Shortcut for --print=b.

  --verbose, -v
      Verbose output. Print the whole request as well as the response. Also print
      any intermediary requests/responses (such as redirects).
      It's a shortcut for: --all --print=HBbh

  --all
      By default, only the final request/response is shown. Use this flag to show
      any intermediary requests/responses as well. Intermediary requests include
      followed redirects (with --follow), the first unauthorized request when
      Digest auth is used (--auth=digest), etc.

  --history-print WHAT, -P WHAT
      The same as --print, -p but applies only to intermediary requests/responses
      (such as redirects) when their inclusion is enabled with --all. If this
      options is not specified, then they are formatted the same way as the final
      response.

  --stream, -S
      Always stream the output by line, i.e., behave like `tail -f'.

      Without --stream and with --pretty (either set or implied),
      HTTPie fetches the whole response before it outputs the processed data.

      Set this option when you want to continuously display a prettified
      long-lived response, such as one from the Twitter streaming API.

      It is useful also without --pretty: It ensures that the output is flushed
      more often and in smaller chunks.

  --output FILE, -o FILE
      Save output to FILE instead of stdout. If --download is also set, then only
      the response body is saved to FILE. Other parts of the HTTP exchange are
      printed to stderr.

  --download, -d
      Do not print the response body to stdout. Rather, download it and store it
      in a file. The filename is guessed unless specified with --output
      [filename]. This action is similar to the default behaviour of wget.

  --continue, -c
      Resume an interrupted download. Note that the --output option needs to be
      specified as well.


Sessions:
  --session SESSION_NAME_OR_PATH
      Create, or reuse and update a session. Within a session, custom headers,
      auth credential, as well as any cookies sent by the server persist between
      requests.

      Session files are stored in:

          /root/.httpie/sessions/<HOST>/<SESSION_NAME>.json.

  --session-read-only SESSION_NAME_OR_PATH
      Create or read a session without updating it form the request/response
      exchange.


Authentication:
  --auth USER[:PASS], -a USER[:PASS]
      If only the username is provided (-a username), HTTPie will prompt
      for the password.

  --auth-type {basic,digest}, -A {basic,digest}
      The authentication mechanism to be used. Defaults to "basic".

      "basic": Basic HTTP auth
      "digest": Digest HTTP auth


Network:
  --proxy PROTOCOL:PROXY_URL
      String mapping protocol to the URL of the proxy
      (e.g. http:http://foo.bar:3128). You can specify multiple proxies with
      different protocols.

  --follow, -F
      Follow 30x Location redirects.

  --max-redirects MAX_REDIRECTS
      By default, requests have a limit of 30 redirects (works with --follow).

  --timeout SECONDS
      The connection timeout of the request in seconds. The default value is
      30 seconds.

  --check-status
      By default, HTTPie exits with 0 when no network or other fatal errors
      occur. This flag instructs HTTPie to also check the HTTP status code and
      exit with an error if the status indicates one.

      When the server replies with a 4xx (Client Error) or 5xx (Server Error)
      status code, HTTPie exits with 4 or 5 respectively. If the response is a
      3xx (Redirect) and --follow hasn't been set, then the exit status is 3.
      Also an error message is written to stderr if stdout is redirected.


SSL:
  --verify VERIFY
      Set to "no" to skip checking the host's SSL certificate. You can also pass
      the path to a CA_BUNDLE file for private certs. You can also set the
      REQUESTS_CA_BUNDLE environment variable. Defaults to "yes".

  --ssl {ssl2.3,ssl3,tls1,tls1.1,tls1.2}
      The desired protocol version to use. This will default to
      SSL v2.3 which will negotiate the highest protocol that both
      the server and your installation of OpenSSL support. Available protocols
      may vary depending on OpenSSL installation (only the supported ones
      are shown here).

  --cert CERT
      You can specify a local cert to use as client side SSL certificate.
      This file may either contain both private key and certificate or you may
      specify --cert-key separately.

  --cert-key CERT_KEY
      The private key to use with SSL. Only needed if --cert is given and the
      certificate file does not contain the private key.


Troubleshooting:
  --ignore-stdin, -I
      Do not attempt to read stdin.

  --help
      Show this help message and exit.

  --version
      Show version and exit.

  --traceback
      Prints the exception traceback should one occur.

  --default-scheme DEFAULT_SCHEME
      The default scheme to use if not specified in the URL.

  --debug
      Prints the exception traceback should one occur, as well as other
      information useful for debugging HTTPie itself and for reporting bugs.


For every --OPTION there is also a --no-OPTION that reverts OPTION
to its default value.

Suggestions and bug reports are greatly appreciated:

    https://github.com/jkbrzt/httpie/issues

CentOS7 に Samba 4.7.3 をインストール出来る yum リポジトリを作ってみた

CentOS7 の標準リポジトリにある Samba はバージョンが古い為、先日、ソースコードからコンパイルしました。 その際、Samba 4.7.3 の RPM パッケージを作成したのですが、折角なのでリポジトリを立てて公開してみます。 まだまだテスト出来ていないので、利用は自己責任でお願いします。

createrepo を使って CentOS7 用の自前リポジトリを作成する

ソフトウェアはリポジトリからインストールことが殆どだと思います(ソースコードからインストールする機会はめっきり、減ったように思います)。 ただ、「標準リポジトリ提供のソフトウェアはバージョンが低い」「そもそもリポジトリ上にソフトウェアが無い」「社内ソフトウェア専用の、プライベートリポジトリが欲しい」と言った場合は、自前でリポジトリを作りたいケースもあると思います。 今回は createrepo を使って CentOS7 用の自前リポジトリを作成してみます。

CentOS7 に最新パッケージを導入出来るよう、IUS リポジトリを追加する

CentOS の標準リポジトリで提供されるソフトウェアは、バージョンが古いものが多いです。 IUS では、より新しいバージョンのパッケージを提供しています。 IUS の公式ページには以下と書かれています。

IUS is a community project that provides RPM packages for newer versions of select software for Enterprise Linux distributions.

CentOS7 に IUS リポジトリを追加するには以下のように実行します。 IUS の依存性により、EPEL リポジトリも追加されます。

Amazon Linux に Chrony で Amazon Time Sync Service の NTP サーバを参照させる

AWS から VPC の中からリンクローカル IP アドレスで参照出来る NTP サーバが提供されました。 設定方法等は Amazon Time Sync Service で時間を維持する で詳しく説明されています。 今回はこの記事に従って、Amazon Linux へ実際に Amazon Time Sync Service の NTP サーバを設定してみます。