osquery初识

栏目: 数据库 · 发布时间: 5年前

内容简介：我们知道当你们在Linux中使用诸如

osquery 是一个由FaceBook开源用于对系统进行查询、监控以及分析的一款软件。osquery对其的说明如下：

osquery exposes an operating system as a high-performance relational database. This allows you to write SQL-based queries to explore operating system data. With osquery, SQL tables represent abstract concepts such as running processes, loaded kernel modules, open network connections, browser plugins, hardware events or file hashes.

我们知道当你们在 Linux 中使用诸如 ps 、 top 、 ls -l 等等命令的时候，可以发下其实他们的输出结果的格式都是很固定的很像一张表。或许是基于这样的想法，facebook开发了 osquery 。 osquery 将操作系统当作是一个高性能的关系型数据库。使用 osquery 运行我们能够使用类似于 SQL 语句的方式去查询数据库中的信息，比如正在运行的进程信息，加载的内核模块，网络连接，浏览器插件等等信息(一切查询的信息的粒度取决于 osquery 的实现粒度了)。

osquery 也广泛地支持多个平台，包括 MacOS 、 CentOS 、 Ubuntu 、 Windows 10 以及 FreeBSD ，具体所支持的版本的信息也可以在 osquery主页查看。除此之外， osquery 的配套文档/网站也是一应俱全，包括主页、 Github 、 readthedocs 、 slack 。

本篇文章以 CentOS 为例说明 Osquery 的安装以及使用。

安装

在主页上面提供了不同操作系统的安装包，我们下载CentOS对应的rpm文件即可。在本例中文件名是 osquery-3.3.0-1.linux.x86_64.rpm ，使用命令 sudo yum install osquery-3.3.0-1.linux.x86_64.rpm 安装。安装成功之后会出现:

Installed:
  osquery.x86_64 0:3.3.0-1.linux                                                                                                                                                             
Complete!

运行

osquery 存在两种运行模式，分别是osqueryi(交互式模式)、osqueryd(后台进程模式)。

osqueryi，与osqueryd安全独立，不需要以管理员的身份运行，能够及时地查看当前操作系统的状态信息。
osqueryd，我们能够利用 osqueryd 执行定时查询记录操作系统的变化，例如在第一次执行和第二次执行之间的进程变化(增加/减少), osqueryd 会将进程执行的结果保存(文件或者是直接打到kafka中)。 osqueryd 还会利用操作系统的API来记录文件目录的变化、硬件事件、网络行为的变化等等。 osqueryd 在Linux中是以系统服务的方式来运行。

为了便于演示，我们使用 osqueyi 来展示 osquery 强大的功能。我们直接在terminal中输入 osqueryi 即可进入到 osqueryi 的交互模式中( osqueryi 采用的是 sqlite 的 shell 的语法，所以我们也可以使用在 sqlite 中的所有的内置函数)。

[user@localhost Desktop]$ osqueryi
Using a virtual database. Need help, type '.help'
osquery> .help
Welcome to the osquery shell. Please explore your OS!
You are connected to a transient 'in-memory' virtual database.

.all [TABLE]     Select all from a table
.bail ON|OFF     Stop after hitting an error
.echo ON|OFF     Turn command echo on or off
.exit            Exit this program
.features        List osquery's features and their statuses
.headers ON|OFF  Turn display of headers on or off
.help            Show this message
.mode MODE       Set output mode where MODE is one of:
                   csv      Comma-separated values
                   column   Left-aligned columns see .width
                   line     One value per line
                   list     Values delimited by .separator string
                   pretty   Pretty printed SQL results (default)
.nullvalue STR   Use STRING in place of NULL values
.print STR...    Print literal STRING
.quit            Exit this program
.schema [TABLE]  Show the CREATE statements
.separator STR   Change separator used by output mode
.socket          Show the osquery extensions socket path
.show            Show the current values for various settings
.summary         Alias for the show meta command
.tables [TABLE]  List names of tables
.width [NUM1]+   Set column widths for "column" mode
.timer ON|OFF      Turn the CPU timer measurement on or off

通过 .help ，我们能够查看在 osqueryi 模式下的一些基本操作。比如 .exit 表示退出 osqueryi , .mode 切换 osqueryi 的输出结果， .show 展示目前 osqueryi 的配置信息， .tables 展示在当前的操作系统中能够支持的所有的表名。 .schema [TABLE] 显示具体的表的结构信息。

osquery> .show
osquery - being built, with love, at Facebook
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
osquery 3.3.0
using SQLite 3.19.3

General settings:
     Flagfile: 
       Config: filesystem (/etc/osquery/osquery.conf)
       Logger: filesystem (/var/log/osquery/)
  Distributed: tls
     Database: ephemeral
   Extensions: core
       Socket: /home/xingjun/.osquery/shell.em

Shell settings:
         echo: off
      headers: on
         mode: pretty
    nullvalue: ""
       output: stdout
    separator: "|"
        width: 

Non-default flags/options:
  database_path: /home/xingjun/.osquery/shell.db
  disable_database: true
  disable_events: true
  disable_logging: true
  disable_watchdog: true
  extensions_socket: /home/xingjun/.osquery/shell.em
  hash_delay: 0
  logtostderr: true
  stderrthreshold: 3

可以看到设置包括常规设置(General settings)、shell设置(Shell settings)、非默认选项(Non-default flags/options)。在常规设置中主要是显示了各种配置文件的位置(配置文件/存储日志文件的路径)。在 shell设置 中包括了是否需要表头信息( headers ),显示方式( mode: pretty ),分隔符( separator: "|" )。

.table 可以查看在当前操作系统中所支持的所有的表，虽然在 schema 中列出了所有的表(包括了win平台，MacOS平台，Linux平台)。但是具体到某一个平台上面是不会包含其他平台上的表。下方显示的就是我在 CentOS7 下显示的表。

osquery> .table
  => acpi_tables
  => apt_sources
  => arp_cache
  => augeas
  => authorized_keys
  => block_devices
  => carbon_black_info
  => carves
  => chrome_extensions
  => cpu_time
  => cpuid
  => crontab
...

.schema [TABLE] 可以用于查看具体的表的结构信息。如下所示：

osquery> .schema users
CREATE TABLE users(`uid` BIGINT, `gid` BIGINT, `uid_signed` BIGINT, `gid_signed` BIGINT, `username` TEXT, `description` TEXT, `directory` TEXT, `shell` TEXT, `uuid` TEXT, `type` TEXT HIDDEN, PRIMARY KEY (`uid`, `username`)) WITHOUT ROWID;
osquery> .schema processes
CREATE TABLE processes(`pid` BIGINT, `name` TEXT, `path` TEXT, `cmdline` TEXT, `state` TEXT, `cwd` TEXT, `root` TEXT, `uid` BIGINT, `gid` BIGINT, `euid` BIGINT, `egid` BIGINT, `suid` BIGINT, `sgid` BIGINT, `on_disk` INTEGER, `wired_size` BIGINT, `resident_size` BIGINT, `total_size` BIGINT, `user_time` BIGINT, `system_time` BIGINT, `disk_bytes_read` BIGINT, `disk_bytes_written` BIGINT, `start_time` BIGINT, `parent` BIGINT, `pgroup` BIGINT, `threads` INTEGER, `nice` INTEGER, `is_elevated_token` INTEGER HIDDEN, `upid` BIGINT HIDDEN, `uppid` BIGINT HIDDEN, `cpu_type` INTEGER HIDDEN, `cpu_subtype` INTEGER HIDDEN, `phys_footprint` BIGINT HIDDEN, PRIMARY KEY (`pid`)) WITHOUT ROWID;

上面通过 .schema 查看 users 和 processes 表的信息，结果输出的是他们对应的DDL。

基本使用

在本章节中，将会演示使用 osqueryi 来实时查询操作系统中的信息(为了方便展示查询结果使用的是 .mode line 模式)。

查看系统信息

osquery> select * from system_info;
          hostname = localhost
              uuid = 4ee0ad05-c2b2-47ce-aea1-c307e421fa88
          cpu_type = x86_64
       cpu_subtype = 158
         cpu_brand = Intel(R) Core(TM) i5-8400 CPU @ 2.80GHz
cpu_physical_cores = 1
 cpu_logical_cores = 1
     cpu_microcode = 0x84
   physical_memory = 2924228608
   hardware_vendor = 
    hardware_model = 
  hardware_version = 
   hardware_serial = 
     computer_name = localhost.localdomain
    local_hostname = localhost

查询的结果包括了CPU的型号，核数，内存大小，计算机名称等等；

查看OS版本

osquery> select * from os_version;
         name = CentOS Linux
      version = CentOS Linux release 7.4.1708 (Core)
        major = 7
        minor = 4
        patch = 1708
        build = 
     platform = rhel
platform_like = rhel
     codename =

可以看到我的本机的操作系统的版本是 CentOS Linux release 7.4.1708 (Core)

查看内核信息版本

osquery> SELECT * FROM kernel_info;
  version = 3.10.0-693.el7.x86_64
arguments = ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet LANG=en_US.UTF-8
     path = /vmlinuz-3.10.0-693.el7.x86_64
   device = /dev/mapper/centos-root

osquery> SELECT * FROM kernel_modules LIMIT 3;
   name = tcp_lp
   size = 12663
used_by = -
 status = Live
address = 0xffffffffc06cf000

   name = fuse
   size = 91874
used_by = -
 status = Live
address = 0xffffffffc06ae000

   name = xt_CHECKSUM
   size = 12549
used_by = -
 status = Live
address = 0xffffffffc06a9000

查询repo和pkg信息

osquery提供查询系统中的repo和okg相关信息的表。在Ubuntu中对应的是 apt 相关的包信息，在Centos中对应的是 yum 相关的包信息。本例均以 yum 包为例进行说明。

osquery> SELECT * FROM yum_sources  limit 2;
    name = CentOS-$releasever - Base
 baseurl = 
 enabled = 
gpgcheck = 1
  gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

    name = CentOS-$releasever - Updates
 baseurl = 
 enabled = 
gpgcheck = 1
  gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

我们可以直接利用 yum_sources 来查看操作系统的yum源相关的信息。

osquery> SELECT name, version FROM rpm_packages order by name limit 3;
   name = GConf2
version = 3.2.6

   name = GeoIP
version = 1.5.0

   name = ModemManager
version = 1.6.0

利用 rpm_packages 查看系统中已经安装的rpm包信息。我们也可以通过 name 对我们需要查询的包进行过滤，如下：

osquery> SELECT name, version FROM rpm_packages where name="osquery";
   name = osquery
version = 3.3.0

挂载信息

我们可以使用 mounts 表来查询系统中的具体的驱动信息。例如我们可以如下的SQL语句进行查询：

SELECT * FROM mounts;
SELECT device, path, type, inodes_free, flags FROM mounts;

我们也可以使用 where 语句查询摸一个具体的驱动信息，例如 ext4 或者是 tmpfs 信息。如下：

osquery> SELECT device, path, type, inodes_free, flags FROM mounts WHERE type="ext4";
osquery> SELECT device, path, type, inodes_free, flags FROM mounts WHERE type="tmpfs";
     device = tmpfs
       path = /dev/shm
       type = tmpfs
inodes_free = 356960
      flags = rw,seclabel,nosuid,nodev

     device = tmpfs
       path = /run
       type = tmpfs
inodes_free = 356386
      flags = rw,seclabel,nosuid,nodev,mode=755

     device = tmpfs
       path = /sys/fs/cgroup
       type = tmpfs
inodes_free = 356945
      flags = ro,seclabel,nosuid,nodev,noexec,mode=755

     device = tmpfs
       path = /run/user/42
       type = tmpfs
inodes_free = 356955
      flags = rw,seclabel,nosuid,nodev,relatime,size=285572k,mode=700,uid=42,gid=42

     device = tmpfs
       path = /run/user/1000
       type = tmpfs
inodes_free = 356939
      flags = rw,seclabel,nosuid,nodev,relatime,size=285572k,mode=700,uid=1000,gid=1000

内存信息

使用 memory_info 查看内存信息，如下：

osquery> select * from memory_info;
memory_total = 2924228608
 memory_free = 996024320
     buffers = 4280320
      cached = 899137536
 swap_cached = 0
      active = 985657344
    inactive = 629919744
  swap_total = 2684350464
   swap_free = 2684350464

网卡信息

使用 interface_addresses 查看网卡信息，如下：

osquery> SELECT * FROM interface_addresses;
     interface = lo
       address = 127.0.0.1
          mask = 255.0.0.0
     broadcast = 
point_to_point = 127.0.0.1
          type = 

     interface = virbr0
       address = 192.168.122.1
          mask = 255.255.255.0
     broadcast = 192.168.122.255
point_to_point = 
          type = 

     interface = lo
       address = ::1
          mask = ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff
     broadcast = 
point_to_point = 
          type =

还可以使用 interface_details 查看更加具体的网卡信息。

SELECT * FROM interface_details;
SELECT interface, mac, ipackets, opackets, ibytes, obytes FROM interface_details;

查询结果如下

osquery> SELECT * FROM interface_details;
  interface = lo
        mac = 00:00:00:00:00:00
       type = 4
        mtu = 65536
     metric = 0
      flags = 65609
   ipackets = 688
   opackets = 688
     ibytes = 59792
     obytes = 59792
    ierrors = 0
    oerrors = 0
     idrops = 0
     odrops = 0
 collisions = 0
last_change = -1
 link_speed = 
   pci_slot = 
    ....

系统启动时间

osquery> select * from uptime;
         days = 0
        hours = 2
      minutes = 23
      seconds = 51
total_seconds = 8631

查询用户信息

osquery 提供了多个表用于查询用户的信息，包括使用 users 表检索系统中所有的用户，使用 last 表查看用户上次登录的信息，使用 logged_in_user 查询具有活动shell的用户信息。

使用 select * from users 查看所有用户信息，使用类似于 uid>1000 的方式过滤用户。

osquery> select * from users where uid>1000;
        uid = 65534
        gid = 65534
 uid_signed = 65534
 gid_signed = 65534
   username = nfsnobody
description = Anonymous NFS User
  directory = /var/lib/nfs
      shell = /sbin/nologin
       uuid =

我们可以使用 last 表查询最终的登录信息，如 SELECT * FROM last; 。对于普通用户来说，其 type 值为7。那么我们的查询条件如下：

osquery> SELECT * FROM last where type=7;
username = user
     tty = :0
     pid = 12776
    type = 7
    time = 1539882439
    host = :0

username = user
     tty = pts/0
     pid = 13754
    type = 7
    time = 1539882466
    host = :0

其中的time是时间戳类型，转换为具体的日期之后就可以看到具体的登录时间了。

使用 SELECT * FROM logged_in_users; 查看当前已经登录的用户信息。

防火墙信息

我们可以使用 iptables 来查看具体的防火墙信息，如 select * from iptables; ，也可以进行过滤查询具体的防火墙信息。如 SELECT chain, policy, src_ip, dst_ip FROM iptables WHERE chain="POSTROUTING" order by src_ip;

进程信息

我们可以使用 processes 来查询系统上进程的信息，包括pid，name，path，command等等。

可以使用 select * from processes; 或者查看具体的某几项信息， select pid,name,path,cmdline from processes;

osquery> select pid,name,path,cmdline from processes limit 2;
    pid = 1
   name = systemd
   path = 
cmdline = /usr/lib/systemd/systemd --switched-root --system --deserialize 21

    pid = 10
   name = watchdog/0
   path = 
cmdline =

检查计划任务

我们可以使用 crontab 来检查系统中的计划任务。

osquery> select * from crontab;
       event = 
      minute = 01
        hour = *
day_of_month = *
       month = *
 day_of_week = *
     command = root run-parts /etc/cron.hourly
        path = /etc/cron.d/0hourly

       event = 
      minute = 0
        hour = 1
day_of_month = *
       month = *
 day_of_week = Sun
     command = root /usr/sbin/raid-check
        path = /etc/cron.d/raid-check

其他

在Linux中还存在其他很多的表能够帮助我们更好地进行入侵检测相关的工作，包括 process_events 、 socket_events 、 process_open_sockets 等等，这些表可供我们进行入侵检测的确认工作。至于这些表的工作原理，有待阅读 osquery 的源代码进行进一步分析。

总结

本文主要是对Osquery的基础功能进行了介绍。Oquery的强大功能需要进一步地挖掘和发现。总体来说，Osquery将操作系统中的信息抽象成为一张张表，对于进行基线检查，系统监控是一个非常优雅的方式。当然由于Osquery在这方面的优势，也可以考虑将其作为HIDS的客户端，但是如果HIDS仅仅只有 Osquery 也显然是不够的。

以上

以上所述就是小编给大家介绍的《osquery初识》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

火的礼物：人类与计算技术的终极博弈（第4版）

【美】Baase,Sara（莎拉芭氏） / 郭耀、李琦 / 电子工业出版社 / 89.00

《火的礼物：人类与计算技术的终极博弈（第4版）》是一本讲解与计算技术相关的社会、法律和伦理问题的综合性读物。《火的礼物：人类与计算技术的终极博弈（第4版）》以希腊神话中普罗米修斯送给人类的火的礼物作为类比，针对当前IT技术与互联网迅速发展带来的一些社会问题，从法律和道德的角度详细分析了计算机技术对隐私权、言论自由、知识产权与著作权、网络犯罪等方面带来的新的挑战和应对措施，讲解了计算技术对人类的......一起来看看《火的礼物：人类与计算技术的终极博弈（第4版）》这本书的介绍吧!

码农工具