PR|無料レッスン20本を受け取る

インフラエンジニア|AWS / Kubernetes ログ基盤構築(通信業界・長期安定)

ソフトウェア開発支援・DX化支援

お気に入り一覧 →

報 酬

月額 55〜75万円

(税別・スキル経験により決定)

基本リモート/神谷町(オンプレ作業時のみ出社想定)(東京都) 業務委託(準委任契約)
稼働 —
形態 基本リモート/神谷町(オンプレ作業時のみ出社想定)(東京都)
契約 業務委託(準委任契約)
期間 —

使用ツール・スキル

AWS Kubernetes Linux Tableau

案件概要

■案件概要
通信業界向けに、オンプレミス環境のKubernetesログをAWS上のDatabricksへ蓄積する基盤構築案件です。
現在はSplunkでシステム基盤ログのセキュリティ分析・監視を実施していますが、将来的にはDatabricks上でも分析・監視を行える体制を構築することを目的としています。
本案件では、オンプレミスのKubernetesログをDatabricksのBronzeテーブルへ取り込む基盤の設計・構築を担当します。
対象データは約2TB/日の大量ログであり、高性能かつ高可用性を考慮したアーキテクチャ設計が求められます。
■案件の目的/スコープ
・現状: システム基盤ログのセキュリティ分析・監視にSplunkを利用している。
・将来: Splunkだけでなく、Databricksでもセキュリティ分析/監視をできるようにしたい。
・オンプレのコンテナ基盤ログ(Kubernatesログ)をDatabricksに収集して、Splunk相当以上のセキュリティ分析に使えるようにすること
・本案件のスコープは、オンプレKubernatesログをDatabricksブロンズテーブルに格納するところまで(27年3月末まで)※27年4月以降も継続の可能性あり
・オンプレのKubernetesのログデータ(2TB/日)を、Databricksのbronzeテーブルに転送したい
・bronzeテーブルは、KubernetesログデータのcsvをそのままSTRING型で格納するだけでよい(※データ加工・BIはスコープ外)
・対象となるログデータには、個人情報は含まない
・2027年1月までに少量データでのデータ疎通テストを成功させ、2027年3月までにドキュメントを揃えるイメージをしている
・Databricks on AWSの構築だけでなくオンプレサーバのデータ送信基盤の提案までがスコープ
■プロダクトやサービスの概要
Databricks on AWSをデータ分析基盤として活用し、オンプレミスKubernetes環境から収集したログデータを蓄積します。
ログデータはCSV形式をそのままSTRING型でBronzeテーブルへ格納する想定で、データ加工やBI領域はスコープ外です。
■役割/期待値
・インフラリーダーorインフラメンバー
・顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること
・非機能要件を考慮した基盤設計の知見があること(2TB/日のデータ転送に耐えうる性能設計および耐障害設計)
・基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること
■担当フェーズ
・基本設計、詳細設計、構築、テスト、運用設計まで
■作業内容(主担当・範囲)
・下記の作業をチーム内で分担して実施
-アーキテクチャ検討(fluentd, kafka等)
-基盤パラメータ設計
-顧客運用ルールに合わせた基盤構築作業
-テスト実施(テストケース設計、テスト準備と実施)
-各種ドキュメント作成
■アウトプット
・下記ドキュメントをチームメンバと協力して作成
・業務要件定義書、基本/詳細設計書、テスト計画/結果、運用設計書など
■体制
・PM:1名
・Databricks on AWS技術者:2名 (Databricks)
・インフラ技術者:2~3名(Kubernetes, Fluentd, Linux)←うち1,2名を募集
■その他補足
・基本リモート(オンプレ作業時のみ神谷町へ出社想定)

■必須スキル
・Linuxサーバの構築経験があること
・「dbt」「Snowflake」「Fivetran」「Tableau」等の知見
・基本的なネットワーク知識があること(TCP/IP, ルーティングなど)
・syslog, fluentd, kafka, kubernetesに対する基本的な技術理解があること
・顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること
・基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること
■尚可スキル
・syslog, Fluentd, Kafkaに類するシステムログ転送処理の機能設計/開発に関する経験があること
・非機能要件を考慮した基盤設計の知見があること(2TB/日のデータ転送に耐えうる性能設計および耐障害設計)
・AWSのネットワーク知見(AWS Direct Connect, AWS Transit Gateway, AWS VPCなど)
・Databricks on AWSに関する知見
■人物像
・顧客折衝ができる方
・設計書や運用ドキュメント作成が得意な方
・主体的にインフラ設計を推進できる方

募集要項

職種 データ
報酬 月額 550,000〜750,000円(税別)
※スキル・経験に応じて決定
勤務形態 基本リモート/神谷町(オンプレ作業時のみ出社想定)(東京都)
契約形態 業務委託(準委任契約)
勤務地 基本リモート/神谷町(オンプレ作業時のみ出社想定)(東京都)

事務作業に時間を取られている方へ

フリーランスの働き方をLINEで受け取る

LINEで無料で届くもの

  • 20本Webデザインの無料レッスン
  • 全工程Photoshopの解説動画
  • 4本限定のPDF・動画
無料レッスン20本を受け取る

登録1分・情報収集だけでもOK・セミナー参加は自由

タップするとLINEの友だち追加画面が開きます

LINE登録のよくある質問
お金はかかりますか?
LINEの登録と、届くレッスン・動画・PDFは無料です。
どんな連絡が来ますか?
レッスンや動画のほか、無料セミナーの案内が届きます。参加するかは自由です。
やめたいときは?
LINEでブロックすれば、それ以上は届きません。

PR提供: 日本デザインスクール(デザスク)

応募ページへ →

※ 外部サイトに移動します

データエンジニアの求人をもっと見る →