AWS Certified Data Engineer - Associate(DEA-C01) 試験対策 - 主要サービスの使い分け・着眼点まとめ
AWS Certified Data Engineer - Associate (DEA-C01) 試験では、様々なAWSサービスの特徴を理解し、特定の要件に対して最適なサービスや機能を組み合わせる能力が問われます。ここでは、特にデータエンジニアリング領域で重要となるサービスについて、試験シナリオで注目すべき「着眼点」をまとめました。 ETLツールの使い分け: AWS Glue vs Amazon EMR 運用モデル Glue: サーバーレスであり、インフラ管理が不要。運用負荷が非常に低い。 EMR (主に on EC2): マネージドクラスターであり、EC2インスタンスの選択や管理が必要。運用負荷はGlueより高い。 着眼点: 「運用負荷を最小限にしたい」 → Glue (またはEMR Serverless)。「インフラを細かく制御・管理したい」 → EMR。 主な用途 Glue: ETL処理に最適化されている。Glue StudioによるGUI開発も可能。 EMR (主に on EC2): ETLに加え、機械学習、インタラクティブSQL(Presto/Trino)、ストリーミング(Flink)など、多様なビッグデータフレームワークを実行可能。 着眼点: 「Spark/PythonでのETLが主目的」→ Glue。「多様なフレームワーク (Presto, Flink, HBase等) も使いたい」→ EMR。 柔軟性/カスタマイズ Glue: OSアクセス不可、利用可能なライブラリに制限がある場合があり、柔軟性は低い。 EMR (主に on EC2): OSログインが可能で、ソフトウェアの追加や設定変更の自由度が高く、柔軟性・カスタマイズ性が高い。 着眼点: 「OSレベルの操作や特殊な設定/ライブラリが必要」→ EMR。 コストモデル Glue: DPU時間に基づく従量課金。ジョブ実行時のみ課金。 EMR (主に on EC2): EC2インスタンス料金 + EMR料金。スポットインスタンスを活用することで大幅なコスト削減が可能。長時間稼働時はEMRが有利な場合も。 着眼点: 「ジョブ実行時のみ課金が良い(断続的ジョブ)」→ Glue (or EMR Serverless)。「スポットインスタンスでコスト削減したい」→ EMR。 起動時間 ...
AWS Certified Advanced Networking - Specialty(ANS-C01) 合格体験記と学習ポイント
結果 AWS Certified Advanced Networking - Specialty 認定試験を受験し、770点のスコアで合格しました。 試験概要 受験した試験の概要を以下に示します。 試験名: AWS Certified Advanced Networking - Specialty (ANS-C01) 受験日: 2025年3月 試験形式 コンピュータベーステスト(CBT)形式。 問題数は65問(選択問題および複数選択問題)。 スコアリング対象は50問で、残りの15問は採点対象外とされています。(受験者には採点対象外の問題は区別できません) 試験時間は170分。 試験内容・目的 AWSクラウドおよびハイブリッドネットワーク環境における、複雑なネットワークアーキテクチャの設計、実装、運用、保護に関する高度な知識とスキルを評価する試験です。 VPC、Direct Connect、Transit Gateway、Route 53、各種ロードバランサー、VPN接続、ネットワークセキュリティ(ファイアウォール、セキュリティグループ等)、監視・ロギングなど、広範なAWSネットワーク関連サービスの専門知識が問われます。 合格ライン: 1000点満点中、750点以上。 学習前の自身の状態 試験勉強を開始する前の私の状態は以下の通りです。 AWS関連資格: AWS Certified Solutions Architect - Professional (SAP) を取得済みでした。 AWS実務経験: 業務においてAWSに触れる機会は約4〜5年ありました。 ネットワーク知識: TCP/IP、サブネット、ルーティングなど、一般的なネットワーク基礎知識は保有していました。 しかし、AWSのネットワークサービスについては、SAPを保有しているものの、実務で深く関与する機会が限定的でした。特に、AWS Direct Connectに関する知識はなく、AWS Transit Gatewayについても十分な理解には至っていない状態でした。 使った教材 今回の試験対策で利用した主な教材は以下の通りです。 参考書 要点整理から攻略する『AWS認定 高度なネットワーキング-専門知識』(NRIネットコム株式会社 著) 本書は試験範囲を体系的に学習する上で非常に有用でした。各サービスの要点が整理されており、知識の定着に役立ちました。 Webサイト/技術ブログ (サービス理解): 顧客拠点から Amazon VPCへの接続パターンまとめ (Whitepaper参照) | DevelopersIO VPC接続オプションに関するAWS公式ホワイトペーパーの内容を日本語で深く理解する上で、この記事が理解の助けとなりました。 AWS認定アドバンストネットワーキング - 専門知識を受験した時の話 #Network - Qiita 学習前の知識が不足していたDirect Connect Gateway周辺の理解を深めるのに役立ちました。 Webサイト/技術ブログ (合格体験記・学習メモなど): 他の受験者のブログ記事や学習記録も、学習の進め方や重要ポイントを把握する上で参考にしました。以下に参考にした記事へのリンクを示します。 Advanced Networking - Specialty (ANS-C01) に合格したので必要な対策や経験について記載します - サーバーワークスエンジニアブログ AWS 認定 高度なネットワーキング – 専門知識(AWS Certified Advanced Networking – Specialty)の学習方法 - NRIネットコムBlog AWS Direct Connectの勉強 - プログラマでありたい 【AWS初学者向け】AWS認定資格ANS直前対策 | Academaid [ANS-C01]復習 AWS Certified Advanced Networking - Specialty (ANS) 受験に向けてメモ その他 Udemy Businessで関連コースをいくつか試しましたが、今回の試験対策としては活用しませんでした。 学習時間について 学習期間: 約4〜5ヶ月 (※実質的な学習期間は約3ヶ月) 総学習時間: 約30時間 当初は3ヶ月程度の学習期間で受験する予定でしたが、希望する日程での試験予約が困難だったため、学習完了から受験までに1〜2ヶ月ほどの期間が空きました。 結果として、学習開始から合格までは約4〜5ヶ月を要しましたが、実際の総学習時間はおよそ30時間程度でした。 ...
Keychron V1 Knob Version Shell White購入記録・プチレビュー
はじめに いつもの通りKeychronのサイトを巡回していたところ、突然目に止まったものがありました。 Keychron V1 Knob VersionのShell Whiteカラーです。 https://www.keychron.com/products/keychron-v1-qmk-via-custom-mechanical-keyboard?variant=40532670578777 Shell White自体は一部機種で既に展開されているカラーであり、機会があれば欲しいと考えていたんですが、自分が購入を考えていた機種で展開されたのは初めてだったので即購入しました。 KeychronのキーボードはK6、K1 SE V5、K4 Proに続いて4つ目です。 この記事ではKeychron公式サイトからの購入に関する情報を主に書きます。最後にプチレビューとしてShell White固有の外観と付属品の情報も載せます。 純粋なレビューを見たい方は下記の記事をお薦めしておきます。 https://gadgerba.com/keychron-v1/ 注文に関する要点 配送先の住所は君に届け!の通り入れれば大丈夫です。 電話番号は国コードを考慮せずに090-xxxx-xxxx、080-xxxx-xxxx等の形式で入力すれば大丈夫です。 東京までの送料は16ドルでした。 8/14(月)の23時頃に注文し、4日後の8/18(金)の指定した時間帯に東京で受け取れました。 公式サイトからの注文 公式サイトからの注文の際、会員登録は要りません。Country/Regionで日本が選択されているのを確認したら後は以下のサイトを使って変換した英語圏式の住所をそのまま入力すればOKです。 一意の住所の集合住宅に住んでいる人は、建物名は削って問題ありません。例えば「1-1-1 ナントカハイツ101号室」でも君に届けに入力する際は「1-1-1-101」とすることをお薦めします。建物の情報は日本の配達員の方しか見ないので、下手に「Nantokahaitsu」のようなアルファベットに変換して読みづらくするよりも余計な建物名を削った方が見やすくなります。もちろん削ってしまうと住所が特定できなくなる場合はきちんと入力した方が良いです。私は集合住宅に住んでいますが、建物名を削って問題なく届きました。 https://kimini.jp/ 送料・支払い金額 東京までの送料は16ドルでした。 購入金額はKnob Version本体の94ドルに16ドルの送料を足して110ドル。本体が94ドルで東京までの送料が16ドルでした。割と円安の頂点で買ったので為替レートは1ドル144円ほど。最終的な支払い金額はカードの手数料等も含めて16300円となりました。 Keychronは前触れなく販売を停止するイメージがあり、すぐに飛びつきましたが、円安がうらめしいですね。Keychronのキーボードを買うたびに円安を実感します。 佐川急便による配達を受けるまで 注文後はメールがいくつか送られてきますが、何かトラブルが起きていないかだけをさらっと流し見ておけば良いです。日時指定をして確実に受け取りたい方は、公式サイトで入力した携帯番号にDHLから送られてくる下記のような文言のSMSの方に気を配りましょう。 配達のご希望は del.dhl.com/JP/XXXXX からお願いします。お客様のお荷物(DHL運送状番号1234567890、発送人名 SHENZHEN KEYCHR)の配達予定日は2023年8月18日金曜日 当日です。通関事情等により遅延する場合があります。 8/14(月)の23時頃の注文で、SMSは8/16(水)の11時頃に来ました。このSMSに記載されているDHLのサイトを開くと下記のような流れで時間指定ができます。 実際の配達は佐川急便の方が来ます。8/14(月)の23時頃に注文し、4日後の8/18(金)の指定した時間帯に受け取れました。他の方の体験談を見るとおおよそ4〜5日で届いているようです。 プチレビュー 打鍵感や外観等の本格的なレビューは他の方にお任せします。 おまけ程度のプチレビューだけ書きます。 外観はこんな感じ。 ケースとノブは真っ白ですが、キーキャップはケースとノブに比べてわずかに灰色がかっていました。気になる人もいそうです。 付属品はこんな感じでした。USB-CのケーブルやUSB-AとUSB-Cの変換アダプタまで白で統一されているのはかなり良いです。 キーキャップはWindows用の他にKeychronらしい赤いエスケープキーとエンターキー用も付いていて気が利いています。 キースイッチは赤軸が好みなので今回も赤軸を選択しましたが、打鍵感はいつものKeychron K Pro軸ですね。自分としては特筆すべきことはなく、良好な感触です。Keychron K4 Proも持っていますが、全く同じキースイッチでした。 まとめ 海外から届く割に非常に円滑に届きます。時間指定もSMSに届くリンクからサクッとできるので助かります。最終的な配達が佐川急便なのも安心感があります。以前にKeychron K6を買った際にも書きましたが、公式サイトからの購入を必要以上に警戒する必要はありません。 Bluetooth機能のない機種に関しては技適の問題もないので、公式サイトからの購入も検討してみることをお薦めします。 https://hanautarecords.com/keychron-k6/
アドバンスクリエイトからの連絡を拒否する方法
メットライフが公開している通り、メットライフはアフターフォロー業務を他社に委託しています。委託先の一社(もしかするとそもそも一社にしか委託していないのかも知れません)がアドバンスクリエイト社です。 このアドバンスクリエイト社(電話での名義は「保険市場」の可能性あり)のネット上の評判が非常に悪く、「しつこい」電話を中心とした勧誘の連絡が多くの方から迷惑がられているようです。 https://www.telnavi.jp/phone/0120043279 個人的には良いも悪いも評価するつもりはありません。 もし電話が迷惑と感じいている方がいれば、電話口で「御社からの電話は迷惑行為として拒否します」と伝えれば以降電話がかかってくることはなくなります(繰り返しになりますが、私自身は何も評価しませんし、拒否することを他人推奨しているわけではありません。迷惑かどうかは各個人でご判断いただくようお願いいたします)。 自身の電話で着信拒否の設定をするだけだと別の電話番号から再度かかってくることがあります。単に着信拒否の設定をしたり、「間に合っている」等のあいまいな言葉で拒否したりするのではなく、「迷惑であり、拒否したい」ことを明確に伝えることが重要です。 最初に電話がかかってきた際に真面目に応対をしてしまった場合、その後にSMSで連絡が来ることもあります。その場合も「御社からの連絡は迷惑行為として拒否します」と返信すれば以降SMSで連絡が来ることもなくなるはずです。
【Terraform】dynamicブロックは2つのargumentの排他制御にも使用できる
はじめに Terraformで相互に排他となる2つのargument(Terraformのドキュメントで登場する英語で言えばOne of either arg1 or arg2 must be set)を同時にコード上に埋め込んでおきたいという要求を満たす必要性が出てきましたが、dynamicブロックを使って解決できました。 要求と解決方法について実例とコードを挙げて説明していきます。 要求 排他となる2つのargumentの実例 「排他となる2つのargument」の実例はこちら。 azurermのプロバイダーでLinuxの仮想マシンを作成する linux_virtual_machine に該当argumentがありました(もちろん該当するargumentは他にもあります)。 https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs/resources/linux_virtual_machine#source_image_id source_image_id、source_image_referenceのいずれにも下記のNOTEが付記されています。 One of either source_image_id or source_image_reference must be set. もう少し平たく言えばsource_image_id と source_image_referenceは、いずれか一方しかコード上で定義できないということになります。 具体的に以下コードで示します。 resource "azurerm_linux_virtual_machine" "mylinux" { source_image_reference { publisher = "Canonical" offer = "0001-com-ubuntu-server-focal" sku = "20_04-lts-gen2" version = "latest" } } resource "azurerm_linux_virtual_machine" "mylinux" { source_image_id = local.source_image_id } source_image_referenceとsource_image_id以外のargumentは省略してありますが、いずれか一方しかresourceブロックにしか登場しないというイメージは伝わるかと思います。 いずれか一方しかコード上で定義できないと困るのか そもそもいずれか一方しかコード上で定義できなくとも、よくある宣言的に環境を定義しておいてリソースを作成するTerraformのユースケースでは困りません。 「排他となる2つのargument」の章で挙げた例の具体例の通り、当然のことながらどちらか一方を定義しておけば良いだけです。 それではどういったケースで困るかというと、変数の入力の仕方よって作成するリソースのパターンを変えるようなケースが当てはまります。 つまりパターンをいくつか決めた上でいずれかのパターンに対応できるようにTerraformをテンプレート化するケースです。これはmodule化をするケースでも当てはまることがあるでしょう。 排他となる2つのargumentを同時に定義しておきたい 先ほど「排他となる2つのargument」の章で挙げた挙げたコードを1つのファイルにし、そのファイルに2つのargumentを定義しておき、変数の入力によって作成するリソースのパターンを変えるというのが実現したいことです。 Terraformにはnullというvalueがあるので、nullを利用して下記のように書くことができれば、後は三項演算子も併用してなんとかなると思ったのですが、下記の書き方自体がエラーになってしまいました。 resource "azurerm_linux_virtual_machine" "mylinux" { source_image_reference { publisher = null offer = null sku = null version = null } source_image_id = local.source_image_id } 解決方法 結論としては以下のようにdynamicブロックを使えば実現できます(本旨に関連する部分のみの抜粋です)。 ...
Keychron K6を購入した記録(あるいは注文から到着まで10日かかった記録)
追記(2023/09/12) 以下の記事内で公式サイトでの購入についてもう少しシンプルかつストレートに書きました。 https://hanautarecords.com/keychron-v1-white/ はじめに KeychronのK6というMac対応のメカニカルキーボードを公式サイトから購入しました。 https://www.keychron.com/ 公式サイトは日本語に対応しておらず、発送も海外からになるということで二の足を踏んでいる方もいると思います。そこで主に注文・配達面に関する記録を残しておきます。キーボード自体のレビューは他所を参考にしてください。 ちなみに私が買ったのはこちら。 https://www.keychron.com/products/keychron-k6-non-backlight-wireless-mechanical-keyboard K6のNon-Backlightモデル(赤軸、ホットスワップ非対応、プラスチックフレーム)モデルです。本体47.20ドルと送料23.00ドルを合わせて70.20ドル、クレジットカードの請求は9,028円でした。円安がひどいですね。 こちらの動画でホットスワップ対応版(私が購入したものと外観は同一のもの)が紹介されていました。 https://youtu.be/N1WXVfKS-tc 本記事の要点 配送先の住所は英語圏式での入力が必要ですが、難しくありません。 神奈川までの送料は23ドルでした。 4/28に注文し、10日後の5/8に届きました。 公式サイトからの注文 会員登録は要りません。Tipsとして発送先詳細の入力フォームではまず発送先の国をJapanにしておくことをおすすめします。それによって日本の住所入力に適したフォームに切り替わります(日本語には対応していないですが、きちんと日本からも注文があることを想定したサイトということですね)。 住所は英語圏式で入力する必要があります。日本の郵便番号入力による自動補完も効きましたが、正しい形式になっていないように見えたため、補完内容は消して下記のサイトで日本式から英語圏式に変換したものをそのまま入力しました。 https://kimini.jp/ 送料 香港からの発送でした。発送先によって送料は変わるらしく、神奈川を発送先とした今回の送料は23ドルでした。試しに2つ、3つと追加でキーボードをカートに入れて送料を見てみましたが、数によって送料はおおよそリニアに増えていくようです。 配送連絡 注文後は2カ所からメールが届きます。Keychronからのメールと配送会社のDHLからのメールです。 Keychronから初期に届く「shipped」のメールにある「Track Link」から発送ステータスの変更があった場合に随時メールが届くようにする手続きができるので、そちらの手続きを実施すると随時メールが届きます。 DHLからのメールにあるリンクから配達日時の指定や配達場所の変更の手続きができます。 注文から到着まで 4/28に注文し、10日後の5/8に届きました。当初、DHLのサイトで5/16到着予定と表示されていました。しかしながらそんなに遅くなる訳もあるまいと思い、こまめに状況をチェックしていたところ、途中で予定が早まりました。 余談(そもそもなぜK6を買ったか) Realforceを使ってみてキーボードを変えるとこんなに効率が変わるのかと感じ、他のキーボードも試してみたくなりました。Mac対応、左下にコントロールキーのあるUS配列、メカニカルという3点を条件に日本から普通に買えるもの選ぶとKeychronくらいしか選択肢が見つからなかったという消去法に近い考えです。 まとめ 到着までに10日の時間がかかったこと以外に不満はありません。今回、某病の影響と中国の連休(4/30〜5/4は労働節という期間にあたり休みだった模様)が重なるタイミングで注文したことで比較的時間がかかったものと思います。他の方の経験談を見ている限りもう少し早く届いている印象を受けます。 https://jp.trip.com/hot/2022+中国の祝日・休みカレンダー 日本人の方も多々利用していて実績はあるようですので、あまり公式サイトでの購入を怖がる必要はないと思います。少なくとも23ドルで届くような地域に住んでいる方はAmazon、del>メルカリ、ヤフオクといったところで定価以上の価格のものを買う必要性はないでしょう。会員登録もなく送料は確認できるので、一度試してみるのが吉です。 一部機種は国内代理店や家電量販店で買えるので、初期不良のリスクや発送速度への評価次第では、そちらでの購入も検討の余地はあるでしょう。ちなみに私が購入したK6は国内代理店や家電量販店での取扱いはありません。 https://kopek.jp/products_category/keychron/ 前述の通りAmzonで買う必要性は基本的にないとは思いますが、一部機種は出品されています。その後、正式にAmazonでの流通が始まったようです。 https://amzn.to/3NZjjr8 総評としてはKeychronの公式サイトからの購入は特に問題もなく、十分におすすめできるものでした。
エンジニア、家を買うシリーズまとめ
はじめに この記事ではネット上で一般に公開されているエンジニア(ここでは広義のITエンジニアのこと)の住宅購入記事をまとめています(随時更新予定)。 他に良い記事があればTwitterでご連絡ください。 記事一覧 https://lestrrat.medium.com/%E6%8C%81%E3%81%A1%E5%AE%B6%E6%B4%BE%E3%81%A7%E3%81%AF%E3%81%AA%E3%81%8B%E3%81%A3%E3%81%9F%E3%81%91%E3%81%A9%E5%AE%B6%E6%8C%81%E3%81%A1%E3%81%AB%E3%81%AA%E3%81%A3%E3%81%9F-f50c4c3a6dc0 持ち家派ではなかったけど家持ちになった筆者の経験。ローン組む際にぶち当たる疑問なども書かれている。自分の年齢やローン返済シミュレーションの重要性等。 https://songmu.jp/riji/entry/2021-03-16-bought-a-condominium.html マンション購入記。モデルルームで即決購入し、仮審査通過、仮審査はいくつか出して結局全部通ったとのこと。未上場企業勤務で勤続年数も浅い場合はローンを組むのに苦労する模様。 https://hichihara.hatenablog.com/entry/2021/07/26/070000 ソフトウェアエンジニアが自宅を建てるまでの細かい話の紹介。自宅を探す難しさ、間取りや間取りの値段、間取りの選択肢など。家自体に強いこだわりや特殊な要望がない人には、新築分譲を買うのがおすすめとのこと。 https://kumagi.hatenablog.com/entry/kodate-katta 新築マンションを都内で買うと、家賃が上昇する理由の考察。窓枠がアルミサッシな事を見るにコストダウン最優先で実態は悲惨とのこと。省エネ性能の明らかに劣るマンションでも50年は平気で住まれ続ける可能性に注意。 https://gist.github.com/tetsukay/7952776a26acf44a01fa2bad000ae451 リモートワークで働ける環境をエンジニアが解説している。ペットを飼いたいなどの要望あり。自宅を新築か中古か、物件の周辺環境もチェックすることが大切。 https://manekai.ameba.jp/life/15821100003232 フリーランスのソフトウェアエンジニアの家づくりのきっかけ。5人の子持ち。家づくりのきっかけは「仮面ライダー」で、家づくりの方針は「お金」。 https://vaaaaaanquish.hatenadiary.jp/entry/2018/09/04/235409 5000万円いかないくらいの都内低層マンションの購入記録。年収はそれなりで妻による資産形成も進んでいたという。奥さんと気が合うのが何かと良かったらしい。 https://hikari1019.hatenablog.com/entry/2021/09/06/210403 ネットワークに興味がない人にはあまり参考にならないが、新築戸建て設計時のネットワーク設備の要件整理。各フロアの天井に無線APを取り付けたり、外壁に防犯カメラを取り付けたり。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2022/01/11/103000 注文住宅のノウハウ。自宅の間取りは、家族と過ごす場所と時短を何より重視。仕事部屋はあえてただの「箱」にしてカスタマイズしやすくしている。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2022/05/10/103000 マイホームを建てる際のコツの紹介。自宅の間取りは、リビングとキッチンの2つに分かれており、キッチンは1つだけ。キッチンは、キッチンの収納スペースやキッチンの収納スペースなどがある。 https://www.kbaba1001.com/entry/2021/10/06/060925 静岡県三島市に移住し、ローンで中古住宅を購入。住む場所にとらわれない仕事をしており、東京よりは地方に住みたいという考え。不動産業者への手数料や、司法書士への依頼料などを考慮して購入したとのこと。 https://anond.hatelabo.jp/20190505161153 アラフォー独身でジョブホッパーWebエンジニアが住宅ローンを組む理由。 https://anond.hatelabo.jp/20210825234710 独身アラフォーWebエンジニアが中古マンションを買ってリノベした話。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2022/07/05/103000 狭い土地で住みやすい家を建てるコツの紹介。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2023/01/10/103000 子育て重視の家づくり。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2023/02/07/104031 ミニキッチン付きの仕事部屋、防音スタジオ等こだわり満載の家。 https://www.suumocounter.jp/chumon/report/jitsurei/entry/2023/04/28/103000_1 災害とエコという割とユニークなテーマの話。 番外編 家を作っている人 家を買うかも知れない人 住宅購入に関する財テク
Amazon RDS/Aurora機能概観
はじめに この記事は下記雑誌の特集記事の大幅な要約が中心です。要約に際して表現は全て改めるとともに古くなっている内容のアップデートを図っています。 RDSとは https://aws.amazon.com/jp/rds/ Amazon Relational Database Serveceの略。RDBのマネージドサービス。 メリット マネージドサービスである。つまり以下のようなメリットがある。 インストール作業が不要で使い始められる。 マルチAZ構成で可用性が高められる。 自動でパッチ適用ができる。 自動でバックアップが取れる。 柔軟なパフォーマンス向上のため手段が用意されている。 リードレプリカ(読み取り専用インスタンス)の設置 インスタンスクラスの変更 ストレージの変更 Auroraとは https://aws.amazon.com/jp/rds/aurora/ RDSの一部。クラウド向けにAWSが構築したRDBのサービス。ハイパフォーマンス。MySQL互換、PostgreSQL互換のものがある。 RDSとAuroraの違い 内部アーキテクチャが異なる https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Concepts.AuroraHighAvailability.html RDSはインスタンスとストレージが一体化している。Auroraはインスタンスとストレージが分離している。 Auroraは1AZあたり2箇所、3AZに渡ってストレージがコピーされる。ストレージで障害が起こってもクライアントからのリクエストに影響しづらい。 Auroraにしかない機能が使える BackTrack https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Managing.Backtrack.html データの巻き戻しができるBackTrackが使える。テーブルのDROPやデータのDELETEの復旧が可能。戻した位置から進めることも可能。 ストレージの自動拡張 Q: Amazon Aurora データベースのストレージの下限と上限はどれくらいですか? ストレージの下限は 10 GB です。データベースの使用量に応じて、Amazon Aurora ストレージは 10 GB 単位で最大 128 TB まで、データベースのパフォーマンスに影響を与えずに拡張されます。ストレージを事前にプロビジョニングする必要はありません。 よくある質問 - Amazon Aurora | AWS 使用状況に応じて10GBから128TBまでストレージが自動拡張する。 クラスタキャッシュ管理 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraPostgreSQL.cluster-cache-mgmt.html#AuroraPostgreSQL.cluster-cache-mgmt.Configure プライマリがクラッシュしてリードレプリカがプライマリに自動昇格する場合(フェイルオーバーする場合)、キャッシュがないため一時的にパフォーマンスが下がる。クラスタキャッシュ管理によってプライマリと同じキャッシュを特定のレプリカに共有することにより、パフォーマンス回復までの時間を短縮できる。 グローバルデータベース https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/Concepts.AuroraHighAvailability.html#Concepts.AuroraHighAvailability.GlobalDB 高速なリージョン間レプリケーション機能。ストレージ層でのレプリケーションなのでレプリケーション先にインスタンスを設置しなくてもレプリケーションが可能で低価格でのDR構成を実現可能。 Aurora Severless https://aws.amazon.com/jp/rds/aurora/serverless/ インスタンス層が自動スケールする機能。稼働していない時にインスタンスがシャットダウンされるため料金を節約できる。需要が予測できない場合にも自動でスケールできる。 料金 https://aws.amazon.com/jp/rds/pricing/ https://aws.amazon.com/jp/rds/pricing/
AWS認定 セキュリティ-専門知識(SCS)に合格しての振り返り
はじめに 最近は開き直ってエンジニア向けの記事を書いていますが、またエンジニアの向け記事です。 みんな大好きAWS認定試験。 今回はAWS 認定 セキュリティ – 専門知識(以降SCS)に合格したので振り返っていきます。 https://aws.amazon.com/jp/certification/certified-security-specialty/ 実施した学習内容のうちで役立ったものの紹介が中心です。 スコア 合格点が750点のところ、834点のスコアで合格でした。 試験中の感触の割に高得点を取れた気がします。 ここまでAWSの資格を3種受けてきていつも試験中の感触よりも良い点数が出るので、最後まであきらめるべきではないというのを実感しています。 学習を始める前のスペック 下記に合格済みの状態からのスタートです。 AWS 認定ソリューションアーキテクト – プロフェッショナル AWS 認定 機械学習 – 専門知識 業務では3年以上AWSの設計・構築・運用保守を行っていますが、比較的ゆるいセキュリティ要件内で作業することが多いです。 準備期間 受験を決めてから約1ヶ月半の準備をしました。 土日にちょこちょこと1〜1.5時間ほど、平日は気が向いた時に30分ほど学習した感じです。 学習内容 役立った学習内容を紹介していきます。 書籍(オススメ度:★★★★★) https://amzn.to/3pMyf48 学習時間の8割はこの書籍の読み込みにあてました。 簡潔でわかりやすく、試験で問われるサービスには一通り触れられているので、こちらの書籍の内容は完全に理解するくらいの心構えで読み込んでいきました。 AWSのスタンダードなサービス(VPC、IAM、EC2、S3あたり)に慣れ親しんでいる人ならこの書籍を読み込むだけでも合格ラインには到達できそうな良書でした。 Exam readiness(オススメ度:★★★★☆) https://www.aws.training/Details/eLearning?id=45684 こちらは無料で利用できる公式のイーラーニング教材。 シラバスの分野ごとにポイントを絞った解説があり、最後に練習問題もあります。 練習問題の難易度は本番より低いですが、出題範囲のバランスがよく、自分に足りない範囲を感じ取れるものです。 このExam readinessのクオリティの高さは機械学習の時にも感じましたが、セキュリティの受験に際してもおすすめします。 セキュリティに限らずExam readinessが用意されている認定試験を受験する場合は今後もまず見ていくと思います。 Black Belt(オススメ度:★★☆☆☆) https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-service-cut/ 教材としてはド定番ですね。 上記の書籍を読み、もう少し掘り下げたいと思ったサービスの動画を倍速で見ていきました。 認定試験後につなげる意味でも役立つのでおすすめですが、このSCSの対策に限って言えばBlack Beltの内容だと細か過ぎる気もします。 もちろん役には立つので時間が許す限り関連するサービスについては見ておくのは良いです。 パッと思いつく関連するサービスは以下のあたり。 AWS CloudTrail AWS Organizations AWS Key Management Service Amazon Inspector Amazon GuardDuty AWS Config AWS Security Hub ...
機械学習初心者のAWS認定 機械学習–専門知識(MLS)受験レポート
はじめに 本記事はAWS その2 Advent Calendar 2020 23日目の記事です。 2020年の12月にAWS 認定 機械学習 – 専門知識(以降MLS)に合格してきました。 https://aws.amazon.com/jp/certification/certified-machine-learning-specialty/ 合格体験記としてこれから受験する方が学ぶべき内容と実際に自分がどういった情報を基に学習してきたかを記載していきます。 結論(これから受験する方が学ぶべき内容) 先にシンプルな結論(?)として合格した自分の思うこれから受験する方が学ぶべき内容を紹介します。 下記の3本立ての学習が必要です。括弧内の%は自分が感じた出題の比率の数字です。 機械学習の基礎知識(40%) AWSの機械学習関連の各種サービスの機能(30%) AWSのデータ関連の各種サービスの機能(30%) 機械学習の基礎知識で特に重要なのは過学習への対処、陽性データが少ない場合の対処、学習に時間がかかっている場合の対処といったデータサイエンティストが日常的にぶつかる問題への対処方法です。 この辺りは王道の解決手法(過学習が起きているなら正則化、陽性データが少ないならオーバーサンプリングといったセオリー)を理解できていることが求められます。 後は評価指標、特に混同行列に関しては手を替え品を替え様々な問題形式でしつこいくらいに問われます。 AWSの機械学習関連の各種サービスに関しては下記のサービス別資料のうち「Machine Learning」の章のサービスの機能の概要は抑えておきましょう。 下記に記載のないTranscribe、記載のあるLex、Pollyを組み合わせた対話型システム、各サービスのユースケースについては繰り返し問われます。 https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-service-cut/ SageMakerも重要は重要ですが、事前に合格体験記等で見たよりも細かい話は問われなかった印象を受けました。 SageMaker関連で抑えるべきはデプロイに関する仕様、特にエンドポイントとモデルの対応関係、独自モデルの使用に関する仕様です。 AWSのデータ関連のサービスとしてはAmazon Kinesis Data Firehose、Amazon Kinesis Data Analytics、Amazon Kinesis Data Streams、Amazon Kinesis Video Streams、AWS Batch、AWS Glue、Amazon S3、Amazon Athena、Amazon QuickSight、Amazon EMR、AWS Data Pipeline、Amazon Redshift等のサービスが重要になります。 どういったデータソースに対して、どういったことをトリガーにして、どういった操作・加工ができるか、という観点から整理しておくのが良いでしょう。 (2020/1/3追記)下記の公式ドキュメントに「Analytics」系サービスとしてリストアップされていました。 https://docs.aws.amazon.com/whitepapers/latest/aws-overview/analytics.html 学習開始前のスペック ここからは自分の話。 業務でのAWS使用歴は3〜4年程度ですが、機械学習に関しては完全な初心者です。 スコア 合格点が750点のところ、870点での合格でした。 試験中は6割くらいしか自信を持って答えられていない感覚でしたが、終わってみれば余裕の合格でした。 自信がなくても最後まであきらめないでがんばりましょう。 準備期間 6ヶ月程度です。 ただしこの間ひたすら試験を意識して学習していたわけではありません。 MLSの試験を意識した学習は2ヶ月ほどだと思います。 もう少し細かく言うと最初の1ヶ月は全く別のG検定という機械学習に関する基礎知識の試験の学習をしていました。 後述しますが、G検定は機械学習の基礎知識習得にかなり役立ちました。 G検定学習後の3ヶ月は特に明確な学習をしていたわけではありませんが、機械学習の基礎知識が身についたので、ちょこちょこと気ままにQiitaで機械学習に関する記事を読んだりしていました。 最後にMLSを受験すると決めてからの2ヶ月は集中してMLSに受かるための学習に取り組んできました。 役に立った教材・情報 役に立った教材・情報を紹介していきます。 ...