Create a Post
cancel
Showing results for 
Search instead for 
Did you mean: 
Danny_Yang
Employee
Employee

Logs Exporter正式推出! 別再煩惱log匯出問題

在R80.10/R77.30版本已經開始支援Logs Exporter功能,可以更加方便安全地將CP log匯出與第三方的SIEM/Log management進行整合。

Logs Exporter需基於R80.10 JFA take56/R77.30 JFA take292以上版本才能安裝,並支援幾種目前客戶端常見的SIEM產品包括ArcSight, Splunk, QRadar, RSA等。

相關內容請參考sk122323 Logs Exporter - Check Point Logs Export

24 Replies
Danny_Yang
Employee
Employee

歡迎各位多加利用並分享此工具的實務使用經驗喔!

0 Kudos
Reply
RickLin
Advisor

才在想說要來CheckMates 跟大家說這個消息

原來Danny已經發佈了

還是原廠的訊息來的快來的準確...

RickLin
Advisor

cp_log_export_real_sample

Danny_Yang
Employee
Employee

不出所料,Rick還是走在我們最前端的民間大神,才剛出就已經實際上線了,實在威猛!

期待您分享進一步的應用經驗。

0 Kudos
Reply
Webb_Huang
Contributor

Hi Rick:

如果只要送SmartEvent,而且Severity=Critical / High到syslog server有什麼方式可以做呢???

Sung-Lun_Yang1
Employee Alumnus
Employee Alumnus

Hello Webb,

這個Log Exporter只能把Log匯出,但是沒辦法做Filter。

如果你要做Filter,我建議在Syslog Server上面做,或是參考另外一個Syslog的Solution  CPLogToSyslog (sk115392)

Webb_Huang
Contributor

Hi Sung-Lun:

SK115392方式我有做,但Filter有點費時間,目前我改用Log Exporter,然後只做Threat Policy Log(Severity=critical / high)。 

Frank_Li
Employee
Employee

Dear all, 

不知道各位最近是否关注过Log Exporter这篇SK:

sk122323 Log Exporter - Check Point Log Export

Change Log:

take 51 (Aplril 14, 2019)
SL-1822

Installation of R80_10_JHF_LOGOUT fails because of the script updateExistingExporters.sh when there are no exporters in the server.

take 50 (March 5, 2019)
SL-2003

Added filtering support. Now you can decide which logs to export.

 

在3月5日release的Log Exporter take50中,已经增加了filtering功能。

 

另外,哪位配置过Log Exporter的filtering功能,也请分享一下经验,多谢!

0 Kudos
Reply
RickLin
Advisor

哪類型的log ?! IPS ?!

有沒有試著查一下SmartEvent Policy那邊的設定?

我覺得可以在SmartEvent Policy那邊,真對特定Event 指定特定的action ,例如搭配script的作法來試試看

Webb_Huang
Contributor

Hi Rick:

收了,放口帶備用。Thanks

RickLin
Advisor

Hi Webb

您客氣了,這論壇的意義也在幫助我們在Check Point在這麼多面向的、不同的領域,提供資訊交流的平台

人難免有時會遇到瓶頸或卡關的時候,我也常腦筋不靈光,我總是請教我同事Tony and George

討論之後,才想到有其他層次或面向我本來或當下沒考慮到的,藉由快速討論找出可以走出死胡同的路出來

如果有我能幫忙的,我都會幫忙,因為改天我也需要大家的經驗分享與協助. Smiley Happy

Danny_Yang
Employee
Employee

謝謝Rick, 開臺灣自己CheckMates版就是希望能打破公司的藩籬,相互交流在CP產品支援的經驗!

我們很幸運,能擁有許多技術經驗都很棒的夥伴,也期望各位多多分享,勇於提問,讓這個版面成為臺灣自己的knowledge base! 

DACHENG_SU
Participant

請問, log exporter 啟動後, 我去查看 log_indexer.elg 有看到log訊息是 file read rate [log] : Current=29 Avg=336 MinAvg=11 Total=305861 buffers (0/0/0/0) , 下一行是  Sent current : 0  average : 0 total : 0 , 我的 log server 都沒有收到任何轉送過來的 log 。 請問,我要往那一方面去查看。我是r77.30有升級 Check_Point_R77_30_JUMBO_HF_1_Bundle_T302_FUL

name: tolog
status: Running (13179)
last log read at: 14 Aug 21:48:29
debug file: /opt/CPsuite-R77/fw1/log_exporter/targets/tolog/log/log_indexer.elg

[Expert@CAFA-4600:0]# cp_log_export show

name: tolog
enabled: true
target-server: 192.168.X.X (這ip我自己編的)
target-port: 514
protocol: udp
format: syslog

RickLin
Advisor

我對你問的這個問題也沒什麼概念..

首先我會先想一下什麼是正常送log的時候 log_indexer.elg會顯示的紀錄

剛好我有一兩個現成的客戶有不斷的在傳送log的案例,我觀察了一下他們的 log_indexer.elg

我看到他們的log_indexer.elg都有你給的訊息Sent current : 0  average : 0 total : 0 

所以看來這不能作為判斷事情的依據

後來我想一想,你要確認Management有沒有將log送出去

事實上很簡單,最簡單的tcpdump command就能釐清是沒送出去,還是送出去後的問題

DACHENG_SU
Participant

謝謝, 已經可以了, 我有用 rick 你提供的 tcpdump 去查看, 發現我有在送 syslog , 所以我再去查內網防火牆的 policy , 發現是policy 的問題, 因為我把 policy 砍掉用新增的方式去設定 policy 就好了, 先前我在內網policy 是用 clone 方式去修改policy的目的伺服器及port, 發現這樣 policy 沒有作用, 因為我一直在看內網防火牆沒有任何流量進來, 我以為是 checkpoint的cp_log_export 沒有作用. 感謝 rick 你提供的 tcpdump 方式。

Yonatan_Philip
Employee
Employee

大家好
請原諒我可憐的中國人 - 我把一切都歸咎於谷歌翻譯 :smileyhappy:
在一些elg文件中,每隔一行顯示為空的原因是elg文件報告兩個日誌文件。一行用於常規日誌,另一行用於審計日誌。
每次重新啟動過程時,這些數字都會重置。
因此,如果您最近剛剛啟動該流程並且未進行任何更改或安裝策略,則第二行將顯示零計數。
P.P.S 我發現使用帶有-A -s0的tcpdump可以獲得更好的可讀性。它在ASCI而不是Hex中顯示它,它為您提供完整的日誌(-s0)。

Hello Everyone,
Please forgive my poor Chinese - I blame everything on Google Translate :smileyhappy:
The reason why every other line appears empty in some elg files is that the elg file reports on two log files. One line is for the regular logs, and the other is for the audit logs.
These numbers reset every time you restart the process.
So if you just started the process recently and haven't done any changes or installed policy, the second line will show a count of zero.

P.S.
Please let me know if my Chinese made any sense at all, or if it was gibberish. This is an interesting experiment :smileyhappy:

P.P.S
I find that using tcpdump with -A -s0 gives a better more readable result. It shows it in ASCI instead of Hex and it gives you the full log (-s0).

[Expert@MDS-72:0]# tcpdump -A -s0 -ni eth0 port 5149
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
17:48:36.836712 IP 192.168.32.72.36282 > 1.1.1.1.5149: UDP, length 861
E..y..@.@.T... H.........e'ZCEF:0|Check Point|VPN-1 & FireWall-1|Check Point|Log|Accept|Unknown|start=1534344619 cef_src=10.32.91.190 cef_dst=111.221.29.254 layer_name=Network layer_name=Application match_id=2 match_id=16777219 parent_rule=0 parent_rule=0 rule_action=Accept rule_action=Accept rule_name=Network_Rule_One rule_name=Appi_Cleanup rule rule_uid=51419c04-5fc4-4263-8cca-e5d14f2dcf56 rule_uid=5440fb90-dd92-4e6a-8191-8957c279f3a9 action=Accept flags=840704 ifdir=outbound logid=0 loguid={0x5b743d92,0x0,0x5b20a8c0,0xc0000001} origin=192.168.32.91 originsicname=CN\=GW91,O\=Domain2_Server..cuggd3 sequencenum=7 version=5 __policy_id_tag=product\=VPN-1 & FireWall-1[db_tag\={956DEC09-D89D-6C44-B44D-E8288E72D0EE};mgmt\=Domain2_Server;date\=1534058337;policy_name\=Standard] hll_key=1394967949574862819 product=VPN-1 & FireWall-1 proto=6 s_port=64673 service=443 service_id=https

(I'm not sure why the forum is adding the sideways scroll bar)

HTH
Yonatan

So if you just started the process recently and haven't done any changes or installed policy, the second line will show a count of zero.

Danny_Yang
Employee
Employee

Thanks Yonatan!

0 Kudos
Reply
Jarvis_Lin1
Contributor

確認一下syslog server 接收的格式, 印象在n-report中格式要設成cef, 若設成syslog 好像不會吃...

format: syslog (syslog|cef|leef|generic)

cp_log_export也調整一下format, 如 cef 試看看

DACHENG_SU
Participant

謝謝你,n-report 要用 cef 格式才能正常顯示.

RickLin
Advisor

除了用tcpdump -i interface證明有送封包出去以外(通常不會有沒送出去的問題)

剩下的,如Jarvis所說的,接收方如果有收到資料後,如果格式不對,也會影響結果

format的value就那四種,不確定哪一種換一下測試一下就知道了..

Neville_Kuo
Advisor

Rick:

雖然它是Multi thread process,但還是需要看一下吃多少負載,你是在客戶端還是自己的LAB環境執行?

RickLin
Advisor

這是我Real Customer的現狀,不是在Lab環境

給大家參考...

0 Kudos
Reply
Neville_Kuo
Advisor

看到了,這是一個有錢的客戶,謝謝喔。

0 Kudos
Reply
Cyber_Serge
Contributor

我來分享一下最近使用的經驗:當你用log exporter的filter時,要注意目前的log是使用什麼格式。

因為不同格式log的field會不一樣,所以當你轉換log格式,你的filter也要跟著改變,記得去確認 $EXPORTERDIR/targets/<target-name>/conf/FilterConfiguration.xml

否則會因為filter的問題過濾太多log完全沒有送出,或沒有過濾而產生太多log;sk122323的範例裡面其實有, 仔細看CEF格式下的field是cp_severity,但是raw log的field是severity。所以除錯的時候不妨確認filter裡面的field是否和產出的log相符合。

我和TAC研究了一個 多星期,tcpdump完全沒看到有發log,最後才眼尖抓到這個差異。

0 Kudos
Reply