openresty

Introduction

OpenResty is a web server which extends Nginx by bundling it with many useful Nginx modules and Lua libraries. OpenResty excels at scaling web applications and services. For example, one module it includes enables you to write Lua code which will execute directly in an Nginx worker, enabling high-performance applications.

In this guide, you will set up OpenResty from source; the pre-built packages for some distros can be out of date. You'll also explore some simple example applications with OpenResty's unique features.

To follow this guide, you will need:

Note that Nginx should not be installed. It's included in OpenResty and having it installed ahead of time will conflict.

In this section, we will install OpenResty from source.

First, find the latest OpenResty source code release from the Download page on the OpenResty website. Download the tarball, making sure to replace the version number by the latest version if it has changed.

wget https://openresty.org/download/openresty-1.11.2.2.tar.gz

Download the PGP key file as well so we can verify the contents of the file.

wget https://openresty.org/download/openresty-1.11.2.2.tar.gz.asc

Next, we need to add the public key of the author as listed on the download page. At time of writing, this is public key A0E98066. However, do check if it has changed; it is listed on the same downloads page.

gpg --keyserver pgpkeys.mit.edu --recv-key A0E98066

You should see the following output (with your username in place of sammy):

Outputgpg: directory `/home/sammy/.gnupg' created
gpg: new configuration file `/home/sammy/.gnupg/gpg.conf' created
gpg: WARNING: options in `/home/sammy/.gnupg/gpg.conf' are not yet active during this run
gpg: keyring `/home/sammy/.gnupg/secring.gpg' created
gpg: keyring `/home/sammy/.gnupg/pubring.gpg' created
gpg: requesting key A0E98066 from hkp server pgpkeys.mit.edu
gpg: /home/sammy/.gnupg/trustdb.gpg: trustdb created
gpg: key A0E98066: public key "Yichun Zhang (agentzh) <agentzh@gmail.com>" imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)

Check that the name on the public key (in this case, it's «Yichun Zhang») matches the name listed on the OpenResty website.

Now, check whether the signature file matches the downloaded .tar.gz file.

gpg openresty-1.11.2.2.tar.gz.asc

You'll see the following output:

Outputgpg: assuming signed data in `openresty-1.11.2.2.tar.gz'
gpg: Signature made Thu 17 Nov 2016 10:24:29 PM UTC using RSA key ID A0E98066
gpg: Good signature from "Yichun Zhang (agentzh) <agentzh@gmail.com>"
gpg: WARNING: This key is not certified with a trusted signature!
gpg:          There is no indication that the signature belongs to the owner.
Primary key fingerprint: 2545 1EB0 8846 0026 195B  D62C B550 E09E A0E9 8066

The warning you see is because you haven't personally verified whether this key belongs to the owner (i.e., you have not signed the public key with your own private key). There isn't an easy way to completely guarantee that this public key belongs to the owner, which it isn't completely trusted.

However, in this case, Good signature indicates that this file is indeed the file that the authors of OpenResty intended to distribute, so we can go ahead with the installation.

Next, extract the downloaded file and move into the newly created directory.

tar -xvf openresty-1.11.2.2.tar.gz
cd openresty-1.11.2.2

We will need to install the necessary tools to compile OpenResty. For more information about compiling programs from source, see this tutorial about using make to install packages from source.

sudo apt-get install build-essential

We will also need to install some other packages:

  • readline: This will be used by OpenResty for the command line interface.
  • ncurses: This is another piece of software that will be used by OpenResty for its command line interface.
  • PCRE: This software will provide OpenResty with regular expression capabilities.
  • OpenSSL: OpenSSL is used for secure communication, such as TLS (HTTPS).
  • Perl: Perl is a programming language that can be used in OpenResty.

To install these packages, execute the following command:

sudo apt-get install libreadline-dev libncurses5-dev libpcre3-dev libssl-dev perl

We now have all the components necessary to build and install OpenResty.

We will configure OpenResty with PCRE regular expression and IPv6 support. We will also parallelize part of the building process by supplying the -j2 flag, which will tell make that 2 jobs can be run simultaneously. This command will mostly test if all dependencies are available on your system and gather information that will be used by the build step later on. It will also already build some dependencies, such as LuaJIT.

./configure -j2 --with-pcre-jit --with-ipv6

Then you can build OpenResty, again by supplying the -j2 flags for parallelism. This will compile OpenResty itself.

make -j2

Finally, you can install OpenResty. Using sudo makes sure all files can be copied to the correct locations on the system so that OpenResty can find them when it is running.

sudo make install

You will need to allow HTTP connections in your firewall for the web server to work.

sudo ufw allow http

You can optionally also allow HTTPS with sudo ufw allow https if you are going to be using it. You can verify the change in the firewall by checking its status.

sudo ufw status

You should see HTTP traffic (port 80) allowed in the displayed output, as well as HTTPS (port 443) if you added it.

OutputStatus: active

To                         Action      From
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
80                         ALLOW       Anywhere
443                        ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)
80 (v6)                    ALLOW       Anywhere (v6)
443 (v6)                   ALLOW       Anywhere (v6)

You can now check whether the installation has worked. First, start OpenResty.

sudo /usr/local/openresty/bin/openresty

It will complete immediately without text output if the command is successful. In that case, you can visit http://your_server_ip in your browser. You'll see a page which says Welcome to OpenResty! with confirmation that it's fully installed and working.

You can now stop the OpenResty server.

sudo /usr/local/openresty/bin/openresty -s quit

OpenResty is installed, but you still need to configure OpenResty to run on startup so the server does not have to be started manually.

Here, we are going to set up OpenResty as a service so it starts automatically on boot. We will do this using the systemd init service. You can read this systemd basics tutorial for more information, and this unit file tutorial for information on unit files specifically.

Start by creating a new systemd file with nano or your favorite text editor.

sudo nano /etc/systemd/system/openresty.service

For this tutorial, we'll copy the default Nginx systemd file from a fresh installation and modify it for OpenResty. The complete file looks like this and should be pasted into the file we just opened. We'll walk through each part of the file to explain what it's doing.

/etc/systemd/system/openresty.service

# Stop dance for OpenResty
# A modification of the Nginx systemd script
# =======================
#
# ExecStop sends SIGSTOP (graceful stop) to the Nginx process.
# If, after 5s (--retry QUIT/5) OpenResty is still running, systemd takes control
# and sends SIGTERM (fast shutdown) to the main process.
# After another 5s (TimeoutStopSec=5), and if OpenResty is alive, systemd sends
# SIGKILL to all the remaining processes in the process group (KillMode=mixed).
#
# Nginx signals reference doc:
# http://nginx.org/en/docs/control.html
#
[Unit]
Description=A dynamic web platform based on Nginx and LuaJIT.
After=network.target

[Service]
Type=forking
PIDFile=/run/openresty.pid
ExecStartPre=/usr/local/openresty/bin/openresty -t -q -g 'daemon on; master_process on;'
ExecStart=/usr/local/openresty/bin/openresty -g 'daemon on; master_process on;'
ExecReload=/usr/local/openresty/bin/openresty -g 'daemon on; master_process on;' -s reload
ExecStop=-/sbin/start-stop-daemon --quiet --stop --retry QUIT/5 --pidfile /run/openresty.pid
TimeoutStopSec=5
KillMode=mixed

[Install]
WantedBy=multi-user.target

In the [Unit] Section:

  • After=network.target makes OpenResty start after the network is up so that OpenResty can bind and listen to ports. This allows it to be reached from the outside.

In the [Service] section:

  • Type=forking tells systemd that the process we call in ExecStart will start the service in the background and that the process will stop itself after it has done so.
  • PIDFile=/run/openresty.pid tells systemd where to find the PID file OpenResty creates when it is started. This allows systemd to know whether OpenResty is still running.
  • ExecStartPre=/usr/local/openresty/bin/openresty -t -q -g 'daemon on; master_process on;' calls the OpenResty script without starting it. The -t flag tells OpenResty we only want it to test the configuration file; the -q flag tells it that we want to suppress any non-error output; the -g flag sets the global directives daemon on; master_process on that tell OpenResty we want it to start in the background as a daemon. We execute this script as ExecStartPre so that systemd will not try starting OpenResty when the configuration file is invalid, as it will error out on this command.
  • ExecStart=/usr/local/openresty/bin/openresty -g 'daemon on; master_process on;' actually starts OpenReesty. This is the same as ExecStartPre without the -t flag.
  • ExecReload=/usr/local/openresty/bin/openresty -g 'daemon on; master_process on;' -s reload tells systemd to run this command when we run systemctl reload openresty. The -s flag tells OpenResty to reload its configuration file.
  • ExecStop=-/sbin/start-stop-daemon --quiet --stop --retry QUIT/5 --pidfile /run/openresty.pid tells systemd to run this command when OpenResty is stopped. It sents SIGSTOP to the process listed in the PID file. If it's still running 5 seconds later, systemd will take control via the following two options.
  • TimeoutStopSec=5 tells systemd we want the process stopped in 5 seconds. If it does not stop, systemd will forcibly try stopping OpenRest.
  • KillMode=mixed specifies how systemd should try stopping OpenResty when it has not stopped after 5 seconds.

In the [Install] section:

  • WantedBy=multi-user.target tells systemd when we want the service to be started if it is configured to be started at boot. multi-user.target means the service will only be started when a multi-user system has been started, i.e. we can run OpenResty as a different user.

That's all for the etc/systemd/system/openresty.service file. Next, we need to customize the OpenResty Nginx configuration file and enable the service.

Open the configuration file first.

sudo nano /usr/local/openresty/nginx/conf/nginx.conf

By default, it will look like this:

Default /usr/local/openresty/nginx/conf/nginx.conf

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}

. . .

Delete everything before the events { line, and replace it with the following three lines:

Updated /usr/local/openresty/nginx/conf/nginx.conf

user www-data;
worker_processes  auto;
pid /run/openresty.pid;

events {
    worker_connections  1024;
}

. . .

This file will make sure we are running as the www-data user and that systemd can recognize when OpenResty is running due to the pid line that will be created by OpenResty once it starts.

Save and close the file.

Next, create the log directory.

sudo mkdir /var/log/openresty

Reload the systemd service so that it can find our file.

sudo systemctl daemon-reload

Now, start OpenResty via systemd.

sudo systemctl start openresty

You can now visit http://your_server_ip again and see the same web page as before. The difference is that now, the process has been started by systemd.

The last step is to enable the service which will make sure that OpenResty is started on boot.

sudo systemctl enable openresty

You can learn more about managing systemd services and units in our services and units tutorial.

Now that we have configured the service, we can further configure OpenResty so it will e.g. log to a common location.

To configure OpenResty, we have used the default Nginx configuration as a reference, so that it will mostly match what you might be familiar with.

First, open the OpenResty configuration file again:

sudo nano /usr/local/openresty/nginx/conf/nginx.conf

This time, we are going to modify the http block and move the server block inside this http block to a new file to have a better structure. First, locate the http { line, and delete everything after it, except for the final line with the corresponding }.

Current /usr/local/openresty/nginx/conf/nginx.conf

user www-data;
worker_processes  auto;
pid /run/openresty.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    . . .
}

Then, copy the following into the http block so that your entire file looks like this. We'll go over the changes one at a time.

/usr/local/openresty/nginx/conf/nginx.conf

user www-data;
worker_processes  auto;
pid /run/openresty.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    tcp_nopush      on;
    tcp_nodelay     on;

    keepalive_timeout  65;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
    ssl_prefer_server_ciphers on;

    access_log /var/log/openresty/access.log;
    error_log /var/log/openresty/error.log;

    gzip  on;
    gzip_disable "msie6";

    include ../sites/*;
}

Save and close the file.

The changes we made to the default file are:

  • Uncommenting tcp_nopush on;, which tells OpenResty to send only full packets. This option is useful when using the sendfile option, which will allow OpenResty to optimize sending static files to a client.
  • Adding tcp_nodelay on;. This option will try sending packets as soon as possible, which may seem contrary to the above option, but it is used at a different time. tcp_nodelay is only used when using the keepalive option on HTTP requests, which is a connection to a web server by a web browser that will avoid the overhead of initiating an HTTP connection every time a request is made.
  • Adding and modifying the ssl_protocols and ssl_prefer_server_ciphers lines. These options configure the SSL options of OpenResty. We have removed old protocols that are vulnerable to known attacks on HTTPS, such as the POODLE attack.
  • Adding the access_log and error_log lines, which configures where the logs of the web server. We store the logs at the /var/log/openresty directory, which we created in the previous step.
  • Uncommenting gzip on and adding gzip_disable "msie6". These options will configure GZIP, which will compress web pages so that there is less data to transfer. We also add the last option because Internet Explorer 6 (and older) does not always process GZIP content properly.
  • Adding include ../sites/*;, which tells OpenResty to look for extra configuration files in the /usr/local/openresty/nginx/sites directory, which we will be created in a moment.
  • Removing all server blocks, which we'll relocate to a new file later in this step.

Next, create the new sites directory that we specified in the include line.

sudo mkdir /usr/local/openresty/nginx/sites

Create the default site.

sudo nano /usr/local/openresty/nginx/sites/default.conf

Add the following in this new file. This is the relocation of the original server block from nginx.conf, but has inline comments for more detail.

/usr/local/openresty/nginx/sites/default.conf

server {
    # Listen on port 80.
    listen 80 default_server;
    listen [::]:80 default_server;

    # The document root.
    root /usr/local/openresty/nginx/html/default;

    # Add index.php if you are using PHP.
    index index.html index.htm;

    # The server name, which isn't relevant in this case, because we only have one.
    server_name _;

    # When we try to access this site...
    location / {
        # ... first attempt to serve request as file, then as a directory,
        # then fall back to displaying a 404.
        try_files $uri $uri/ =404;
    }

    # Redirect server error pages to the static page /50x.html.
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root /usr/local/openresty/nginx/html;
    }
}

Save and close the file.

Now, create a new directory for this site.

sudo mkdir /usr/local/openresty/nginx/html/default

Then move the original index.html from its original location to the new directory.

sudo mv /usr/local/openresty/nginx/html/index.html /usr/local/openresty/nginx/html/default

Finally, restart OpenResty to use this new site.

sudo systemctl restart openresty

You can now again visit http://your_server_ip and see the same web page as before.

Now that OpenResty is fully configured, we can try some of the features introduced by OpenResty that are not available in Nginx by default.

In this section, we will look at a combination of different modules added by OpenResty which all exist to accommodate Lua scripting. We will modifying /usr/local/openresty/nginx/sites/default.conf throughout this step, so open it first.

sudo nano /usr/local/openresty/nginx/sites/default.conf

First, we are going to look at the content_by_lua_block configuration option. Copy the location block from the example configuration below and add it into the server block, below the two existing location blocks.

/usr/local/openresty/nginx/sites/default.conf content_by_lua_block example

server {
    . . .

    location /example {
         default_type 'text/plain';

         content_by_lua_block {
             ngx.say('Hello, Sammy!')
         }
    }
}

Save and close the file, then reload the configuration.

sudo systemctl reload openresty

If you visit http://your_server_ip/example now, you'll see a page which says Hello, Sammy!. Let's explain how this works.

The content_by_lua_block configuration directive executes everything within it as Lua code. Here, we used the Lua function ngx.say to print the message Hello, Sammy! to the page.

For another example, replace the contents of the location /example block with this:

/usr/local/openresty/nginx/sites/default.conf content_by_lua_file example

server {
    . . .

    location /example {
         default_type 'text/plain';

         content_by_lua_file /usr/local/openresty/nginx/html/default/index.lua;
    }
}

The content_by_lua_file loads the Lua content from an external file, so let's create the one we specified above: /usr/local/openresty/nginx/html/default/index.lua.

sudo nano /usr/local/openresty/nginx/html/default/index.lua

Add the following to the file, then save and close it.

/usr/local/openresty/nginx/html/default/index.lua

local name = ngx.var.arg_name or "Anonymous"
ngx.say("Hello, ", name, "!")

This is a simple piece of Lua which reads a query parameter in the URL, name, and customizes the greeting message. If no parameter is passed, it uses «Anonymous» instead.

Reload the configuration again.

sudo systemctl reload openresty

Now, visit http://your_server_ip/example?name=Sammy in your browser. This will display Hello, Sammy!. You can change the name query parameter, or omit it entirely.

Hello, Sammy!

You can also change the name query parameter to show any other name.

Warning: Do not place the Lua file you are loading in an accessible location from the web. If you do, your application code might be comprised if someone accesses this file. Place the file outside of your document root, for example by changing the document root to /usr/local/openresty/nginx/html/default/public and placing the Lua files one directory above it.

In this article you set up OpenResty, which will enable you to use Lua scripts in an Nginx worker. It is possible to create much more complex Lua scripts. You can also, for example, restrict access using Lua scripts or rewrite certain requests using Lua. You can find the documentation on the lua-nginx-module's GitHub page. There are even complete web frameworks which use Lua on OpenResty, such as Lapis.

If you want to learn more, you can visit the OpenResty website. Because OpenResty is just an extended Nginx installation, you can also learn how to set up server blocks in the Nginx server blocks tutorial, but make sure to replace the paths used in that tutorial by the paths used in this one.

2019/06/26 · Oleg Zvezdo4kin · 0 комментариев (-я)

Dynamic Memory Allocation in C using malloc(), calloc(), free() and realloc()

Изменение длины (размера) массива, где массив это набор элементов, хранящихся в ячейках памяти расположенных одна за другой.

arrays

Как вы можете видеть на изображении выше длина (размер) массива равна 9. Но что если требуется уменьшить длину, например, с 9 до 5 элементов, чтобы не расходовать память понапрасну?
Или наоборот, если массив из 9 элементов заполнен до конца, то увеличить его, например до 12?

В этом случае используется динамическое выделение памяти (Dynamic Memory Allocation).

Dynamic Memory Allocation - процедура изменяющая размер структуры данных во время выполнения программы.

C располагает для этого 4 функциями, которые подключаются заголовочным файлом <stdlib.h> и реализуют выделение памяти в С. Вот они:

Рассмотрим каждую из них подробнее:

malloc()

“malloc” или “выделение памяти” метод для динамического выделения одного большого блока памяти заданного размера.
Функция возвращает указатель типа void, который может быть присвоен указателю (pointer) любого типа.

Синтаксис:

 ptr = (cast-type*) malloc(byte-size)

Например:

 ptr = (int*) malloc(5 * sizeof(int));

Т.к. размер int равен 4-м байтам,
это выражение выделит 20 байт памяти.
Указатель ptr будет содержать
первый байт выделенной области памяти.

 malloc

Если же места недостаточно, выделение завершится неудачно и будет возвращён указатель NULL.

Пример:

#include <stdio.h> 
#include <stdlib.h> 
 
int main() 
{ 
 
    // This pointer will hold the 
    // base address of the block created 
    int* ptr; 
    int n, i, sum = 0; 
 
    // Get the number of elements for the array 
    n = 5; 
    printf("Enter number of elements: %d\n", n); 
 
    // Dynamically allocate memory using malloc() 
    ptr = (int*)malloc(n * sizeof(int)); 
 
    // Check if the memory has been successfully 
    // allocated by malloc or not 
    if (ptr == NULL) { 
        printf("Memory not allocated.\n"); 
        exit(0); 
    } 
    else { 
 
        // Memory has been successfully allocated 
        printf("Memory successfully allocated using malloc.\n"); 
 
        // Get the elements of the array 
        for (i = 0; i < n; ++i) { 
            ptr[i] = i + 1; 
        } 
 
        // Print the elements of the array 
        printf("The elements of the array are: "); 
        for (i = 0; i < n; ++i) { 
            printf("%d, ", ptr[i]); 
        } 
    } 
 
    return 0; 
} 

Вывод программы:

Enter number of elements: 5
Memory successfully allocated using malloc.
The elements of the array are: 1, 2, 3, 4, 5,

calloc()

“calloc” или “последовательное распределение” метод динамического выделения заданного кол-ва блоков указанного размера. При инициализации каждый блок получает значение по умолчанию - '0'.

Синтаксис:

 ptr = (cast-type*)calloc(n, element-size);

Например:

 ptr = (float*) calloc(5, sizeof(float));

Данное выражение выделяет непрерывное пространство в памяти
для 5-ти элементов, каждый из которых имеет размер 4 байта.

 calloc

Если места недостаточно, возвращается указатель NULL.

Пример:

#include <stdio.h> 
#include <stdlib.h> 
 
int main() 
{ 
 
    // This pointer will hold the 
    // base address of the block created 
    int* ptr; 
    int n, i, sum = 0; 
 
    // Get the number of elements for the array 
    n = 5; 
    printf("Enter number of elements: %d\n", n); 
 
    // Dynamically allocate memory using calloc() 
    ptr = (int*)calloc(n, sizeof(int)); 
 
    // Check if the memory has been successfully 
    // allocated by malloc or not 
    if (ptr == NULL) { 
        printf("Memory not allocated.\n"); 
        exit(0); 
    } 
    else { 
 
        // Memory has been successfully allocated 
        printf("Memory successfully allocated using calloc.\n"); 
 
        // Get the elements of the array 
        for (i = 0; i < n; ++i) { 
            ptr[i] = i + 1; 
        } 
 
        // Print the elements of the array 
        printf("The elements of the array are: "); 
        for (i = 0; i < n; ++i) { 
            printf("%d, ", ptr[i]); 
        } 
    } 
 
    return 0; 
}

Вывод программы:

Enter number of elements: 5
Memory successfully allocated using calloc.
The elements of the array are: 1, 2, 3, 4, 5,

free()

“free” - метод используемый для освобождения (de-allocated) памяти выделенной при помощи функций malloc и calloc, которые сами по себе не могут освободить её. Это помогает уменьшить потери памяти.

Синтаксис:

free(ptr);

 free de-allocated

Пример:

#include <stdio.h> 
#include <stdlib.h> 
 
int main() 
{ 
 
    // This pointer will hold the 
    // base address of the block created 
    int *ptr, *ptr1; 
    int n, i, sum = 0; 
 
    // Get the number of elements for the array 
    n = 5; 
    printf("Enter number of elements: %d\n", n); 
 
    // Dynamically allocate memory using malloc() 
    ptr = (int*)malloc(n * sizeof(int)); 
 
    // Dynamically allocate memory using calloc() 
    ptr1 = (int*)calloc(n, sizeof(int)); 
 
    // Check if the memory has been successfully 
    // allocated by malloc or not 
    if (ptr == NULL || ptr1 == NULL) { 
        printf("Memory not allocated.\n"); 
        exit(0); 
    } 
    else { 
 
        // Memory has been successfully allocated 
        printf("Memory successfully allocated using malloc.\n"); 
 
        // Free the memory 
        free(ptr); 
        printf("Malloc Memory successfully freed.\n"); 
 
        // Memory has been successfully allocated 
        printf("\nMemory successfully allocated using calloc.\n"); 
 
        // Free the memory 
        free(ptr1); 
        printf("Calloc Memory successfully freed.\n"); 
    } 
 
    return 0; 
}

Вывод программы:

Enter number of elements: 5
Memory successfully allocated using malloc.
Malloc Memory successfully freed.
Memory successfully allocated using calloc.
Calloc Memory successfully freed.

realloc()

“realloc” или “перераспределение памяти” - метод позволяющий перераспределять память. Если памяти выделенной до этого при помощи функций malloc и calloc недостаточно, при помощи realloc можно перераспределить её.

Синтаксис:

 ptr = realloc(ptr, newSize);

где ptr это перераспределяемая область с новым размером 'newSize'.

 realloc

Если же места недостаточно, указатель возвращает NULL.

Пример:

#include <stdio.h> 
#include <stdlib.h> 
 
int main() 
{ 
 
    // This pointer will hold the 
    // base address of the block created 
    int* ptr; 
    int n, i, sum = 0; 
 
    // Get the number of elements for the array 
    n = 5; 
    printf("Enter number of elements: %d\n", n); 
 
    // Dynamically allocate memory using calloc() 
    ptr = (int*)calloc(n, sizeof(int)); 
 
    // Check if the memory has been successfully 
    // allocated by malloc or not 
    if (ptr == NULL) { 
        printf("Memory not allocated.\n"); 
        exit(0); 
    } 
    else { 
 
        // Memory has been successfully allocated 
        printf("Memory successfully allocated using calloc.\n"); 
 
        // Get the elements of the array 
        for (i = 0; i < n; ++i) { 
            ptr[i] = i + 1; 
        } 
 
        // Print the elements of the array 
        printf("The elements of the array are: "); 
        for (i = 0; i < n; ++i) { 
            printf("%d, ", ptr[i]); 
        } 
 
        // Get the new size for the array 
        n = 10; 
        printf("\n\nEnter the new size of the array: %d\n", n); 
 
        // Dynamically re-allocate memory using realloc() 
        ptr = realloc(ptr, n * sizeof(int)); 
 
        // Memory has been successfully allocated 
        printf("Memory successfully re-allocated using realloc.\n"); 
 
        // Get the new elements of the array 
        for (i = 5; i < n; ++i) { 
            ptr[i] = i + 1; 
        } 
 
        // Print the elements of the array 
        printf("The elements of the array are: "); 
        for (i = 0; i < n; ++i) { 
            printf("%d, ", ptr[i]); 
        } 
 
        free(ptr); 
    } 
 
    return 0; 
}

Вывод:

Enter number of elements: 5
Memory successfully allocated using calloc.
The elements of the array are: 1, 2, 3, 4, 5, 

Enter the new size of the array: 10
Memory successfully re-allocated using realloc.
The elements of the array are: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10,

Malloc C Function

Description The C library function void *malloc(size_t size) allocates the requested memory and returns a pointer to it.

Declaration Following is the declaration for malloc() function.

void *malloc(size_t size)

Parameters size − This is the size of the memory block, in bytes.

Return Value This function returns a pointer to the allocated memory, or NULL if the request fails.

Example The following example shows the usage of malloc() function.

#include <stdio.h>
#include <stdlib.h>
 
int main () {
   char *str;
 
   /* Initial memory allocation */
   str = (char *) malloc(15);
   strcpy(str, "tutorialspoint");
   printf("String = %s,  Address = %u\n", str, str);
 
   /* Reallocating memory */
   str = (char *) realloc(str, 25);
   strcat(str, ".com");
   printf("String = %s,  Address = %u\n", str, str);
 
   free(str);
 
   return(0);
}
2019/05/28 · Oleg Zvezdo4kin

Динамические массивы в C

Если вы используете относительно современный ЯП вроде JS, то массивы в С могут ввести вас в ступор.

Вступление

Массив в JavaScript:

let numbers = [];
numbers.push(1);
numbers.push(2);
numbers.push(3);
console.log(numbers); // [1, 2, 3]

Приведенный выше пример показывает, как бы мы создали массив в JS. Хорошо видно, что возможно добавить столько строк, сколько нам нужно.

Массив в C:

int numbers[3];
numbers[0] = 1;
numbers[1] = 2;
numbers[2] = 3;
printf("%d\n", numbers[0]); // 1
printf("%d\n", numbers[1]); // 2
printf("%d\n", numbers[2]); // 3

Первое выражение numbers[3] говорит компилятору, что массив сохранит в памяти 3 числа. Далее сохраним 1,2 и 3 под соответствующими индексами и выведем на дисплей.
Пока все прекрасно, но но нельзя добавить ещё элементы:

int numbers[3];
numbers[0] = 1;
numbers[1] = 2;
numbers[2] = 3;
numbers[3] = 4;
printf("%d\n", numbers[0]); // 1
printf("%d\n", numbers[1]); // 2
printf("%d\n", numbers[2]); // 3
printf("%d\n", numbers[3]); // should be 4

И что на это скажет gcc?:

array.c:8:5: warning: array index 3 is past the end of the array (which contains 3 elements) [-Warray-bounds]

Таким образом, мы получаем исключение за пределами границ памяти. Места в нашем массиве недостаточно, чтобы вместить ещё элементы.
Что же, если мы нуждаемся в динамическом массиве, в который можно добавить n элементов?

На С мы можем создать собственную имплементацию массива с динамически растущим размером.
Для этого используем блоки памяти.

malloc, realloc и указатели (pointers)

В С каждый тип данных имеет свой размер хранилища:

Тип Размер хранилища Диапазон значений
char 1 byte -128 до 127 или 0 до 255
unsigned char 1 byte 0 до 255
signed char 1 byte -128 до 127
int 2 или 4 bytes -32,768 до 32,767 или -2,147,483,648 до 2,147,483,647
unsigned int 2 или 4 bytes 0 до 65,535 или 0 до 4,294,967,295
short 2 bytes -32,768 to 32,767
unsigned short 2 bytes 0 до 65,535
long 8 bytes -9223372036854775808 до 9223372036854775807
unsigned long 8 bytes 0 до 18446744073709551615

В моей системе это 4 байта для целых чисел (integers). Просто имея эти данные можно создавать динамические массивы любого размера.
Размер типа данных можно получить при помощи функций sizeof(int), sizeof(double) или для тех типов данных, которые вам требуются.
Используя функции malloc и realloc мы можем создавать динамические блоки памяти.

Допустим, мы хотим начать с возможности хранить 3 целых числа (integers),это можно сделать, выделив блок памяти из 12 байт:

Единственным аргументом malloc является размер блока памяти в байтах.
Malloc возвращает указатель(pointer) на вновь созданный блок памяти.
#define INITIAL_CAPACITY 3
int main(){
     int* data = malloc(INITIAL_CAPACITY * sizeof(int));
}

Теперь у нас есть блок памяти, достаточно большой, чтобы вместить наши 3 целых числа - нам нужно сделать его динамическим. Сейчас мы все ещё не можем поместить больше 3-х элементов в наш блок памяти.

Если отслеживать размер и объемом используемой памяти, можно рассчитать, когда нужно изменить ее размер. Если блок памяти заполнен, удвоим размер этого блока памяти, при помощи вызвова realloc , который просто расширяет текущий блок памяти.

#define INITIAL_CAPACITY 3
void push(int *arr, int index, int value, int *size, int *capacity){
     int* ptr;
     if(*size > *capacity){
          ptr = realloc(arr, sizeof(arr) * 2);
          if(ptr == NULL)
               exit(0);
          else
               *capacity = sizeof(arr) * 2;
     }
 
     arr[index] = value;
     *size = *size + 1;
}
int main(){
     int size = 0;
     int capacity = INITIAL_CAPACITY;
     int* arr = malloc(INITIAL_CAPACITY * sizeof(int));
}

Теперь есть возможность добавлять элементы в блок памяти динамически.
Собрав все это вместе, получим следующую программу:

#include <stdio.h>
#include <stdlib.h>
 
#define INITIAL_CAPACITY 2
 
void push(int *arr, int index, int value, int *size, int *capacity){
     int* ptr;
     if(*size > *capacity){
          ptr = realloc(arr, sizeof(arr) * 2);
          if(ptr == NULL)
               exit(0);
          else
               *capacity = sizeof(arr) * 2;
     }
 
     arr[index] = value;
     *size = *size + 1;
}
 
int main(){
     int size = 0;
     int capacity = INITIAL_CAPACITY;
     int* arr = malloc(INITIAL_CAPACITY * sizeof(int));
     if(arr == NULL) {
          printf("Memory not allocated.\n");
          exit(0);
     }
     else {
          push(arr, 0, 1, &size, &capacity);
          push(arr, 1, 2, &size, &capacity);
          push(arr, 2, 3, &size, &capacity);
 
          printf("Current capacity: %d\n", capacity); // Current capacity: 2
 
          push(arr, 3, 4, &size, &capacity);
          push(arr, 4, 5, &size, &capacity);
          push(arr, 5, 6, &size, &capacity);
 
          printf("Current capacity: %d\n", capacity); // Current capacity: 16
     }
}
2019/05/27 · Oleg Zvezdo4kin · 0 комментариев (-я)

TCPdump: программа для перехвата и анализа SIP-сообщений.

TCPdump - мощная программа для анализа пакетов командной строки, которая может использоваться для перехвата/анализа SIP-сообщений. TCPdump предустановлен во многих дистрибутивах Linux или может быть установлен непосредственно из репозитория Debian:

apt-get install tcpdump

TCPdump позволяет записывать перехваченный трафик в файл или отображать его в реальном времени.

Его использование для анализа SIP-сообщений может выглядеть следующим образом:

1) Отображение в реальном времени на консоли

  tcpdump -nqt -s 0 -A -i eth0 port 5060

где:

-n не конвертировать IP-адреса в DNS-имена

-q печатать меньше исходящей информации

-t не печатать метки времени

-s число байтов захватываемых из пакета, 0 = число iptions по умолчанию, которое составляет максимум 65535, или просто целый пакет

-A печатает каждый пакет в ASCI

-v детализация вывода, vv будет очень подробным

-i интерфейс с которого будет производиться захват

port 5060 - указывает порт для прослушивания трафика (5060 в данном случае)

Example of sniffing output using settings described above:
IP 158.193.139.51.5060 > 85.248.145.114.28444: UDP, length 252
E.......@......3U..r..o....uOPTIONS sip:85.248.145.114:28444 SIP/2.0
Via: SIP/2.0/UDP 158.193.139.51:5060;branch=0
From: sip:pinger@kamailio.org;tag=532c3365
To: sip:85.248.145.114:28444
Call-ID: 085dfe91-025420f2-2812823@158.193.139.51
CSeq: 1 OPTIONS
Content-Length: 0


IP 85.248.145.114.28444 > 158.193.139.51.5060: UDP, length 455
E.......u.!'U..r...3o.......SIP/2.0 200 OK
Via: SIP/2.0/UDP 158.193.139.51:5060;branch=0
Contact: <sip:192.168.1.103:28444>
To: <sip:85.248.145.114:28444>;tag=771cf100
From: <sip:pinger@kamailio.org>;tag=532c3365
CSeq: 1 OPTIONS
Accept-Language: en
Allow: INVITE, ACK, CANCEL, OPTIONS, BYE, REFER, NOTIFY, MESSAGE, SUBSCRIBE, INFO
User-Agent: eyeBeam release 1102q stamp 51814
Content-Length: 0
or should be used with verbose extensions, which print some under layer protocol details, as check sums, header lengths…
tcpdump -nqt -s 0 -A -vvv -i eth0 port 5060

2) Второй вариант использования tcpdump - захват данных и их запись в файл pcacp, а затем пост-анализ, например, с помощью wireshark.

tcpdump -nq -s 0 -i eth0 -w /tmp/dump.pcap port 5060 

Домашняя страница инструмента tcpdump находится здесь: http://www.tcpdump.org/tcpdump_man.html

Хороший учебник доступен на http://danielmiessler.com/study/tcpdump/

Man pages

Дополнительная информация из справочных страниц:

Usage: tcpdump [-aAdDeflLnNOpqRStuUvxX] [-c count] [ -C file_size ]

            [ -E algo:secret ] [ -F file ] [ -i interface ] [ -M secret ]
            [ -r file ] [ -s snaplen ] [ -T type ] [ -w file ]
            [ -W filecount ] [ -y datalinktype ] [ -Z user ]
            [ expression ]

ОПЦИИ

-A Печатать каждый пакет (без заголовка уровня ссылки) в ASCII. Удобно для захвата веб-страниц.

-B Установить размер буфера захвата операционной системы равным buffer_size.

-c Выход после получения определенного количества пакетов

-C Перед записью необработанного пакета в файл сохранения проверяет, больше ли размер файла чем file_size, и, если это так, закрывает текущий файл сохранения и открывает новый. Файл сохранения после первого будут иметь имя, указанное с флагом -w и номер после него, начинающийся с 1 и увеличивающийся. Единицами file_size являются миллионы байтов (1 000 000 байтов, а не 1 048 576 байтов).

-d Дамп скомпилированного кода сопоставления пакетов в удобочитаемой форме для стандартного вывода и остановки.

-dd Дамп кода сопоставления пакетов как фрагмент программы на C.

-ddd Дамп кода сопоставления пакетов в виде десятичных чисел (с предшествующим счетчиком).

-D Распечатать список сетевых интерфейсов, доступных в системе и по которым tcpdump может захватывать пакеты. Для каждого сетевого интерфейса печатаются номер и имя интерфейса, за которым, может следовать текстовое описание интерфейса. Имя или номер интерфейса можно указать во флаге -i, чтобы указать интерфейс для захвата.

Это может быть полезно в системах, в которых нет команды для их перечисления (например, в системах Windows или системах UNIX, в которых отсутствует ifconfig -a); Номер может быть полезен в Windows 2000 и более поздних системах, где имя интерфейса представляет собой довольно сложную строку. Флаг -D не будет поддерживаться, если tcpdump был собран с более старой версией libpcap, в которой отсутствует функция pcap_findalldevs ().

-e Печатать заголовок канального уровня в каждой строке дампа.

-E Использовать алгоритм и секрет spi@ipaddr для расшифровки пакетов IPsec ESP, направленных по адресу addr и содержащих значение индекса параметра безопасности spi. Эта комбинация может повторяться с разделением запятой или новой строкой. Обратите внимание, что в настоящее время поддерживается установка секрета для пакетов IPv4 ESP. Алгоритмы могут быть des-cbc, 3des-cbc, blowfish-cbc, rc3-cbc, cast128-cbc или отсутствовать. По умолчанию используется des-cbc. Возможность дешифрования пакетов присутствует только в том случае, если tcpdump был скомпилирован с включенной криптографией. Параметр secret содержит ASCII-текст для секретного ключа ESP. Если ему предшествует 0x, то будет прочитано шестнадцатеричное значение. Опция предполагает RFC2406 ESP, а не RFC1827 ESP. Опция предназначена только для целей отладки, и использование этой опции с истинным «секретным» ключом не рекомендуется. Представив секретный ключ IPsec в командной строке, вы сделаете его видимым для других с помощью ps(1) и в ряде других случаев. Кроме вышеупомянутого синтаксиса параметры можно указать в файле опций, который tcpdump будет читать при получении первого пакета ESP.

-f Выводить «чужие» IPv4-адреса в числовом формате, а не символически (эта опция предназначена для того, чтобы обойти серьезные проблемы на NIS-сервере Sun). Проверка «чужих» адресов IPv4 выполняется с использованием адреса IPv4 и маски сети интерфейса, на котором выполняется захват. Если этот адрес или маска сети недоступны (либо потому что интерфейс, на котором выполняется захват, не имеет адреса или маски сети, либо потому, что захват выполняется на интерфейсе Linux «any», который может захватывать на нескольких интерфейсах) опция будет некорректно.

-F Использовать фильтр, находящийся в файле. При использовании данного параметра, фильтр из командной строки будет игнорироваться.

-G Если указано, включает ротацию файлов дампа указанных с параметром -w, каждые rotate_seconds секунды. Файлы сохранения будут иметь имя, указанное в -w, которое должно включать формат времени, определенный strftime (3). Если формат времени не указан, каждый новый файл будет перезаписывать предыдущий. Если используется вместе с опцией -C, имена файлов будут иметь вид `file<count>`.

-i Интерфейс для прослушивания. Если не указан, tcpdump ищет в системном списке интерфейсов настроенный интерфейс с наименьшим номером (исключая loopback). В системах Linux с ядром 2.2 или более поздней версии «any» может использоваться для захвата пакетов со всех интерфейсов. Обратите внимание, что захват со всех интерфейсов не будет выполняться в случайном режиме. Если поддерживается флаг -D, в качестве аргумента интерфейса может использоваться номер интерфейса, напечатанный этим флагом.

-I Перевести интерфейс в «режим мониторинга»; это поддерживается только в интерфейсах Wi-Fi IEEE 802.11 и только в некоторых операционных системах. Обратите внимание, что в режиме мониторинга адаптер может отсоединиться от сети, с которой он связан, так что вы не сможете использовать никакие беспроводные сети с этим адаптером. Это может помешать доступу к файлам на сетевом сервере или разрешению имен хостов или сетевых адресов, если вы выполняете захват в режиме мониторинга и не подключены к другой сети с помощью другого адаптера. Этот флаг повлияет на вывод флага -L. Если -I не указан, будут показаны только те типы канального уровня, которые доступны, когда он не находится в режиме мониторинга; если указан -I, будут отображаться только те типы канального уровня, которые доступны в режиме монитора.

-K Отключает проверку контрольных сумм IP, TCP или UDP. Это полезно для интерфейсов, которые выполняют такие проверки в аппаратных средствах; в противном случае все исходящие контрольные суммы TCP будут помечены как плохие.

-l Использовать стандартный потоковый вывод tcpdump (stdout). Полезно, если вы хотите увидеть данные во время их захвата. Например, “tcpdump -l | tee dat” or “tcpdump -l > dat & tail -f dat”.

-L Вывести список известных типов каналов передачи данных для интерфейса в указанном режиме и выйти. Список известных типов каналов передачи данных может зависеть от указанного режима; например, на некоторых платформах интерфейс Wi-Fi может поддерживать один набор типов каналов передачи данных, когда режим мониторинга не используется, и другой набор когда он включен.

-m Загружает SMI MIB модуль из файла модуля. Эта опция может использоваться несколько раз для загрузки нескольких модулей MIB в tcpdump.

-M Использовать секрет как общий секрет для проверки дайджестов, найденных в сегментах TCP с опцией TCP-MD5 (RFC 2385), если имеется.

-n Не конвертировать адреса (т. е. адреса хостов, номера портов и т. д.) в имена.

-N Не печатать доменное имя с указанием имен хостов. Например, если вы установите этот флаг, то tcpdump выведет «nic» вместо «nic.ddn.mil».

-O Не запускать оптимизатор кода соответствия пакетов. Это необходимо, только если вы подозреваете ошибку в оптимизаторе.

-p Не переводит интерфейс в режим приема всех пакетов. Обратите внимание, что интерфейс может быть в случайном режиме по какой-то другой причине; следовательно, `-p 'нельзя использовать в качестве сокращения для` ether host {local-hw-addr} или ether broadcast'.

-q Быстрый (тихий?) вывод. Печатает меньше протокольной информации, чтобы выходные строки были короче.

-R Предполагается, что пакеты ESP/AH основаны на старой спецификации (RFC1825 - RFC1829). Если указано, tcpdump не будет печатать поле replay prevention (защита от воспроизведения). Поскольку в спецификации ESP/AH нет поля версии протокола, tcpdump не может определить версию протокола ESP/AH.

-r Читает трафик из файла, если он был предварительно сохранен параметром -w.

-S Выводит абсолютные, а не относительные порядковые номера TCP.

-s Устанавливает количество байтов пакета, которые будет обрабатывать tcpdump. Пакеты, усеченные из-за данного ограничения, указываются в выходных данных «[|proto]», где proto - это имя уровня протокола, на котором произошло усечение. Обратите внимание, что создание больших моментальных снимков увеличивает время обработки пакетов и фактически уменьшает объем буферизации пакетов. Это может привести к потере пакетов. Вы должны ограничить snaplen наименьшим числом, которое будет захватывать интересующую вас информацию о протоколе. При установке snaplen в 0 устанавливается значение по умолчанию 65535 для обратной совместимости с более старыми версиями tcpdump.

-T Интерпретация пакетов заданного типа. В настоящее время известны следующие типы: aodv (Ad-hoc On-demand Distance Vector protocol), cnfp (протокол Cisco NetFlow), rpc (удаленный вызов процедур), rtp (протокол приложений реального времени), rtcp (протокол управления приложениями реального времени), snmp (простой протокол управления сетью), tftp (простой протокол передачи файлов), vat (Visual Audio Tool) и wb (distributed White Board).

-t Не печатать метку времени в каждой строке дампа.

-tt Печать неформатированной метки времени в каждой строке дампа.

-ttt Печать дельты (микросекундное разрешение) между текущей и предыдущей строками в каждой строке дампа.

-tttt Печать времени вместе с датой в каждой строке дампа.

-ttttt Вывести дельту (микросекундное разрешение) между текущей и первой строкой в каждой строке дампа.

-u Печать недекодированных манипуляторов (handle) NFS.

-U Захваченные пакеты будут сразу сохраняться в файл, а иначе копиться в памяти до тех пор, пока она не закончится. Флаг -U не будет поддерживаться, если tcpdump был собран с более старой версией libpcap, в которой отсутствует функция pcap_dump_flush ().

-v Печатает более подробную информацию (TTL; ID; общая длина заголовка, а также его параметры; производит проверку контрольных сумм IP и ICMP-заголовков). При записи в файл с параметром -w оповещает каждые 10 секунд о количестве перехваченных пакетов.

-vv Еще более подробный вывод. Например, дополнительные поля печатаются из ответных пакетов NFS, а пакеты SMB полностью декодируются.

-vvv Вывод максимально подробной информации. Например, опции telnet SB… SE отображаются полностью. С -X Telnet также отображаются в шестнадцатеричном формате.

-w Записывать необработанные пакеты в файл, а не анализировать и выводить их. Позже они могут быть напечатаны с опцией -r. Стандартный вывод используется, если файл «-». Преимущество использования данного способа по сравнению с обычным перенаправлением в файл является высокая скорость записи и возможность чтения подобных данных другими программами, например snort, но этот файл нельзя прочитать человеку. Смотрите pcap-savefile (5) для описания формата файла.

-W Используется вместе с опцией -C, это ограничивает количество созданных файлов указанным числом, и начнет перезаписывать файлы с самого начала, создавая таким образом ротацию буфера.

-x Выводит данные каждого пакета (за исключением заголовка канального уровня) в шестнадцатеричном формате.

-xx Аналогично -x, но включает в себя заголовок канального уровня

-X Выводит данные каждого пакета (за исключением заголовка канального уровня) в шестнадцатеричном и ASCII-формате. Это очень удобно для анализа новых протоколов.

-XX Аналогично -X, но включает в себя заголовок канального уровня.

-y Устанавливает тип канального уровня, используемого при захвате пакетов.

-z Используется вместе с опциями -C или -G, это заставит tcpdump запустить «командный файл», где файл - это файл сохранения, закрываемый после каждой ротации. Например, указание -z gzip или -z bzip2 будет сжимать каждый файл сохранения с помощью gzip или bzip2. Обратите внимание, что tcpdump будет запускать команду параллельно с захватом, используя самый низкий приоритет, чтобы это не нарушало процесс захвата. И если вы хотите использовать команду, которая сама принимает флаги или другие аргументы, вы всегда можете написать сценарий оболочки, который примет имя файла сохранения в качестве единственного аргумента, создаст флаги и аргументы и выполнит команду, которую вы хотите.

-Z Удаляет привилегии (если root) и меняет идентификатор пользователя на пользователя, а идентификатор группы на основную группу пользователей. Это поведение также может быть включено по умолчанию во время компиляции. выражение выбирает, какие пакеты будут сброшены. Если выражение не указано, все пакеты в сети будут сброшены. В противном случае будут выгружаться только пакеты, для которых выражение «true». Синтаксис выражения см. В разделе pcap-filter (7). Аргументы выражения могут быть переданы в tcpdump как один аргумент или как несколько аргументов, в зависимости от того, что более удобно. Как правило, если выражение содержит метасимволы Shell, его проще передать в виде одного аргумента в кавычках. Несколько аргументов объединяются с пробелами перед анализом.

2019/05/27 · Oleg Zvezdo4kin

<< Новые записи | Предыдущие записи >>

  • blog.txt
  • Последние изменения: 2019/03/27