Logs Exporter正式推出! 別再煩惱log匯出問題

[Danny_Yang]

在R80.10/R77.30版本已經開始支援Logs Exporter功能，可以更加方便安全地將CP log匯出與第三方的SIEM/Log management進行整合。

Logs Exporter需基於R80.10 JFA take56/R77.30 JFA take292以上版本才能安裝，並支援幾種目前客戶端常見的SIEM產品包括ArcSight, Splunk, QRadar, RSA等。

相關內容請參考sk122323 Logs Exporter - Check Point Logs Export

[Danny_Yang]

歡迎各位多加利用並分享此工具的實務使用經驗喔!

[RickLin]

才在想說要來CheckMates 跟大家說這個消息

原來Danny已經發佈了

還是原廠的訊息來的快來的準確...

[RickLin]

[Danny_Yang]

不出所料，Rick還是走在我們最前端的民間大神，才剛出就已經實際上線了，實在威猛!

期待您分享進一步的應用經驗。

[Webb_Huang]

Hi Rick：

如果只要送SmartEvent，而且Severity=Critical / High到syslog server有什麼方式可以做呢？？？

[Sung-Lun_Yang1]

Hello Webb,

這個Log Exporter只能把Log匯出，但是沒辦法做Filter。

如果你要做Filter，我建議在Syslog Server上面做，或是參考另外一個Syslog的Solution  CPLogToSyslog (sk115392)

[Webb_Huang]

Hi Sung-Lun：

SK115392方式我有做，但Filter有點費時間，目前我改用Log Exporter，然後只做Threat Policy Log(Severity=critical / high)。 

[Frank_Li]

Dear all, 

不知道各位最近是否关注过Log Exporter这篇SK：

sk122323 Log Exporter - Check Point Log Export

Change Log:

take 51 (Aplril 14, 2019)
SL-1822	Installation of R80_10_JHF_LOGOUT fails because of the script updateExistingExporters.sh when there are no exporters in the server.

take 50 (March 5, 2019)
SL-2003	Added filtering support. Now you can decide which logs to export.

在3月5日release的Log Exporter take50中，已经增加了filtering功能。

另外，哪位配置过Log Exporter的filtering功能，也请分享一下经验，多谢！

[RickLin]

哪類型的log ?! IPS ?!

有沒有試著查一下SmartEvent Policy那邊的設定？

我覺得可以在SmartEvent Policy那邊，真對特定Event 指定特定的action ，例如搭配script的作法來試試看

[Webb_Huang]

Hi Rick：

收了，放口帶備用。Thanks

[RickLin]

Hi Webb

您客氣了，這論壇的意義也在幫助我們在Check Point在這麼多面向的、不同的領域，提供資訊交流的平台

人難免有時會遇到瓶頸或卡關的時候，我也常腦筋不靈光，我總是請教我同事Tony and George

討論之後，才想到有其他層次或面向我本來或當下沒考慮到的，藉由快速討論找出可以走出死胡同的路出來

如果有我能幫忙的，我都會幫忙，因為改天我也需要大家的經驗分享與協助.

[Danny_Yang]

謝謝Rick, 開臺灣自己CheckMates版就是希望能打破公司的藩籬，相互交流在CP產品支援的經驗!

我們很幸運，能擁有許多技術經驗都很棒的夥伴，也期望各位多多分享，勇於提問，讓這個版面成為臺灣自己的knowledge base! 

[DACHENG_SU]

請問, log exporter 啟動後, 我去查看 log_indexer.elg 有看到log訊息是 file read rate [log] : Current=29 Avg=336 MinAvg=11 Total=305861 buffers (0/0/0/0) , 下一行是  Sent current : 0  average : 0 total : 0 , 我的 log server 都沒有收到任何轉送過來的 log 。　請問，我要往那一方面去查看。我是r77.30有升級　Check_Point_R77_30_JUMBO_HF_1_Bundle_T302_FUL

name: tolog
status: Running (13179)
last log read at: 14 Aug 21:48:29
debug file: /opt/CPsuite-R77/fw1/log_exporter/targets/tolog/log/log_indexer.elg

[Expert@CAFA-4600:0]# cp_log_export show

name: tolog
enabled: true
target-server: 192.168.X.X (這ip我自己編的)
target-port: 514
protocol: udp
format: syslog

[RickLin]

我對你問的這個問題也沒什麼概念..

首先我會先想一下什麼是正常送log的時候 log_indexer.elg會顯示的紀錄

剛好我有一兩個現成的客戶有不斷的在傳送log的案例，我觀察了一下他們的 log_indexer.elg

我看到他們的log_indexer.elg都有你給的訊息Sent current : 0  average : 0 total : 0 

所以看來這不能作為判斷事情的依據

後來我想一想，你要確認Management有沒有將log送出去

事實上很簡單，最簡單的tcpdump command就能釐清是沒送出去，還是送出去後的問題

[DACHENG_SU]

謝謝, 已經可以了, 我有用 rick 你提供的 tcpdump 去查看, 發現我有在送 syslog , 所以我再去查內網防火牆的 policy , 發現是policy 的問題, 因為我把 policy 砍掉用新增的方式去設定 policy 就好了, 先前我在內網policy 是用 clone 方式去修改policy的目的伺服器及port, 發現這樣 policy 沒有作用, 因為我一直在看內網防火牆沒有任何流量進來, 我以為是 checkpoint的cp_log_export 沒有作用. 感謝 rick 你提供的 tcpdump 方式。

[Yonatan_Philip]

大家好
請原諒我可憐的中國人 - 我把一切都歸咎於谷歌翻譯 :smileyhappy:
在一些elg文件中，每隔一行顯示為空的原因是elg文件報告兩個日誌文件。一行用於常規日誌，另一行用於審計日誌。
每次重新啟動過程時，這些數字都會重置。
因此，如果您最近剛剛啟動該流程並且未進行任何更改或安裝策略，則第二行將顯示零計數。
P.P.S 我發現使用帶有-A -s0的tcpdump可以獲得更好的可讀性。它在ASCI而不是Hex中顯示它，它為您提供完整的日誌（-s0）。

Hello Everyone,
Please forgive my poor Chinese - I blame everything on Google Translate :smileyhappy:
The reason why every other line appears empty in some elg files is that the elg file reports on two log files. One line is for the regular logs, and the other is for the audit logs.
These numbers reset every time you restart the process.
So if you just started the process recently and haven't done any changes or installed policy, the second line will show a count of zero.

P.S.
Please let me know if my Chinese made any sense at all, or if it was gibberish. This is an interesting experiment :smileyhappy:

P.P.S
I find that using tcpdump with -A -s0 gives a better more readable result. It shows it in ASCI instead of Hex and it gives you the full log (-s0).

[Expert@MDS-72:0]# tcpdump -A -s0 -ni eth0 port 5149
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
17:48:36.836712 IP 192.168.32.72.36282 > 1.1.1.1.5149: UDP, length 861
E..y..@.@.T... H.........e'ZCEF:0|Check Point|VPN-1 & FireWall-1|Check Point|Log|Accept|Unknown|start=1534344619 cef_src=10.32.91.190 cef_dst=111.221.29.254 layer_name=Network layer_name=Application match_id=2 match_id=16777219 parent_rule=0 parent_rule=0 rule_action=Accept rule_action=Accept rule_name=Network_Rule_One rule_name=Appi_Cleanup rule rule_uid=51419c04-5fc4-4263-8cca-e5d14f2dcf56 rule_uid=5440fb90-dd92-4e6a-8191-8957c279f3a9 action=Accept flags=840704 ifdir=outbound logid=0 loguid={0x5b743d92,0x0,0x5b20a8c0,0xc0000001} origin=192.168.32.91 originsicname=CN\=GW91,O\=Domain2_Server..cuggd3 sequencenum=7 version=5 __policy_id_tag=product\=VPN-1 & FireWall-1[db_tag\={956DEC09-D89D-6C44-B44D-E8288E72D0EE};mgmt\=Domain2_Server;date\=1534058337;policy_name\=Standard] hll_key=1394967949574862819 product=VPN-1 & FireWall-1 proto=6 s_port=64673 service=443 service_id=https 

(I'm not sure why the forum is adding the sideways scroll bar)

HTH
 Yonatan 

So if you just started the process recently and haven't done any changes or installed policy, the second line will show a count of zero.

[Danny_Yang]

Thanks Yonatan!

[Jarvis_Lin1]

確認一下syslog server 接收的格式, 印象在n-report中格式要設成cef, 若設成syslog 好像不會吃...

format: syslog (syslog|cef|leef|generic)

cp_log_export也調整一下format, 如 cef 試看看

[DACHENG_SU]

謝謝你，n-report 要用 cef 格式才能正常顯示.

[RickLin]

除了用tcpdump -i interface證明有送封包出去以外（通常不會有沒送出去的問題）

剩下的，如Jarvis所說的，接收方如果有收到資料後，如果格式不對，也會影響結果

format的value就那四種，不確定哪一種換一下測試一下就知道了..

[Neville_Kuo]

Rick:

雖然它是Multi thread process,但還是需要看一下吃多少負載,你是在客戶端還是自己的LAB環境執行?

[RickLin]

這是我Real Customer的現狀，不是在Lab環境

給大家參考...

[Neville_Kuo]

看到了,這是一個有錢的客戶,謝謝喔。

[Cyber_Serge]

我來分享一下最近使用的經驗：當你用log exporter的filter時，要注意目前的log是使用什麼格式。

因為不同格式log的field會不一樣，所以當你轉換log格式，你的filter也要跟著改變，記得去確認 $EXPORTERDIR/targets/<target-name>/conf/FilterConfiguration.xml

否則會因為filter的問題過濾太多log完全沒有送出，或沒有過濾而產生太多log；sk122323的範例裡面其實有， 仔細看CEF格式下的field是cp_severity，但是raw log的field是severity。所以除錯的時候不妨確認filter裡面的field是否和產出的log相符合。

我和TAC研究了一個 多星期，tcpdump完全沒看到有發log，最後才眼尖抓到這個差異。

[frank_chang]

請問這個服務有辦法再重開機後

自動啟動嗎

不然重開會沒有服務

謝謝

[Jarvis_Lin]

正常來說, 重開機不會影響, 應該要繼續丟log出去...

[frank_chang]

我們SMC是R80.10，我參考了sk167695

現在用hotfixT288是會再重啟後自動啟動的

用R80.40也可以

謝謝

[Cyber_Serge]

重開機後還是會繼續，不需要另外手動重啟服務。

[Aesvc]

Hi Danny

我是cp新手，請問一下這個是否直接在SMS上配置就可以把日誌都轉發出去？