読者です 読者をやめる 読者になる 読者になる

まめ畑

ゆるゆると書いていきます

Secure AWS Users Meetup #1に行ってきた

AWS上でのセキュリティの現場の声が聞ける、Secure AWS Users Meetup #1に参加してきました。 http://connpass.com/event/11019/ セキュリティというところで、現場のシビアな実情が垣間見えて非常に参考になりました。セキュリティを日々どう守るかとかAWS…

AWS Casual Talks#3に参加した

AWS

AWS Casula Tlaks#3に参加してきました。AWS Casual Talks #3 on Zusaar 2回目までは主催していたのですが、今回から主催をCookpadの星君に移して初めての開催でしたが、過去を超えてくる濃い・本気の内容ですごく良かったです。色々忙しい中ありがとうござ…

S3とCORS

最近、AWSのサービスも少し様変わりしてきて、インフラレイヤーから、アプリレイヤーまで幅広くサービスが出てきています。SDKも充実してきていて、デバイスやブラウザから直接AWSサービスにアクセスして、S3にデータをUploadしたり、DynamoDBにデータを入れ…

T2インスタンスがでたので簡単に性能をみてみた

AWS

昨日、EC2の新instance familyでT2シリーズが出ました。 今まで、t1.micro/m1.smallとか言われてたシリーズの現行版で、General Purposeにカテゴリも変更されています。リリースは以下の記事 http://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instan…

JAWS DAYS 2014で「これで最強のAWSに」のセッションをやりました

AWS

JAWS DAYS 2014のセッションとして、これで最強のAWSにというセッションをやりました。 Twitterなどの反応はこちらに2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS - Togetterまとめ まとめて頂いています。各セッショ…

AWS Casual Talks#1を開催しました

AWS

AWS Casual Talks#1を開催しました。 参加登録自体は15分程で枠が埋まってしまい、最終的に210人の方に登録を頂きました。 発表して頂いた方、参加頂いた方ありがとうございました!アンケートも多く集まり次回開催の参考にしようと思います。 AWS Casual Ta…

ElastiCache Redis Engineのベンチマークともろもろ

Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the C…

Redshiftのことを話してきました

先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。そこで、Redshiftの利用事例を話してきました。 会場にはRed…

RedshiftのIAM PolicyとWLM

先日、Redshiftの管理面 - まめ畑 でRedshiftの管理周りをざっくり書いたのですが、その中でIAM Policyの事も書いていました。今日、IAM Policyの「Redshift readonly access」ではManagement ConsoleでQuery情報が取得できなくなっていました。Query情報は …

Redshiftのworkload management

Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエ…

RDSがMySQL5.6対応したのでベンチマークをとってみた

先日 Amazon Web Services Blog: MySQL 5.6 Support for Amazon RDS で、RDSがMySQL5.6対応(現在は5.6.12が最新)したということで簡単にベンチマークをかけてみました。RDSはメジャーバージョンアップが簡単に出来るようになりましたが、5.6へのUpgradeはま…

急なアクセスをCloudFrontに逃がす(案)

ほっとんど用途ないですが、こういうやり方もあるという程度のメモ。急激なアクセス増加が見込まれる場合、BlogなどはS3に静的ファイルを配置して、S3直接もしくはCloudFront経由で配信することが有用ですが、都度S3にUploadする必要があります。 また、Clou…

Redshiftの管理面

最近Redshiftの需要が高まっていますが、管理面のことをあまりみないので、簡単にまとめておきます。ドキュメントは Amazon Redshift 接続するには postgresqlクライアントを使います JDBCで接続する場合のdriverは: http://jdbc.postgresql.org/download/po…

S3のStatic WebSite Hostingでエラー時にリダイレクト

S3のStatic WebSite Hostingは静的ファイルをホストするにはとても便利な機能です。 S3のバケットにたいして、Static WebSite Hostingを有効にして、バケットポリシーで全公開するだけで、Webサーバなどを用意することなくサイトが公開出来ます。 S3のアクセ…

AWS Summit Tokyo2013でLTしてきました

AWS

AWS Summit Tokyo2013 2日間フルで参加して来ました。 Techセッションばかり出ていたのですが、会場も立ち見が出るくらいの盛況で、改めて、AWSへの関心の高さを感じました。 HPCインスタンスやRedshiftのTokyoリージョンでのサービスインも発表されて、中々…

Route53のHealth CheckターゲットをELBで試してみた

先日、Amazon Web Services Blog: Amazon Route 53 Adds ELB Integration for DNS Failover で、Route53のHealth CheckターゲットにELBが指定できるようになりました。今までも、Route53にはHealth Check機能がありましたが、ELBはHealth Checkターゲットに…

今一度Provisoed IOPS EBSのベンチをとってみた

AWS

4,000IOPS EBSのベンチをとってみた - まめ畑 の記事で4,000IOPS EBSのベンチマークを簡単にとってみました。他の高IOPS EBSと比較するとどうだろうということで、久しぶりにベンチマークをとってみました。 IOPSはBlock Size 16kでの性能ということになって…

EC2で同じECUだけどCPUは違う

AWS

AWSのEC2ではインスタンスのCPU性能をECUという単位で表します。 知られているとは思いますが、ECUが同じだからといって性能が同じとは限りません。ここ最近、その例が実運用の環境で顕著に出ていたので書いておきます。 とある、数千qpsを受け付けている、D…

redisをAutoScaling環境で使う場合はtimeoutの設定に注意

Redisをstorageやcacheとして使う事が多くなってきたのですが、普段使っている分にはさほど問題なかったものがautoscaleなどの頻繁なインスタンスの増減がある環境でtimeoutを上手く設定していないと問題が出る場面に遭遇したのでメモしておきます。Redisのt…

VPC内のインスタンスからメールを送る

AWSには、SESというメールを簡単に送信出来るサービスがありますが、ケータイキャリア向けに最適化して送りたいとか、送信前に色々やりたい、送信したメールの情報を取っておきたいなどなどで、自前のメールサーバからメールを送信したいという要望はあると…

Amazon RDSで3TB 30,000IOPSのディスクが使えるようになった

Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能に 今日から、RDSで使えるディスクの上限が3TB / 30,000IOPSまで引き上げられました。サイズや性能上限の引き上げの他にも、標準ストレージからIOPSス…

MySQL5.5 と MySQL5.6 と RDS

MySQL5.6は5.5よりもベンチマーク性能が落ちるという話がここ最近見受けられます。 My MySQL is faster than your MySQL Is MySQL 5.6 slower than MySQL 5.5? MySQL5.6の検証は半年程前から本格的に開始して、大量データに対して、JOINやLIMIT、INDEXが不十…

OpsWorksを触ってみた

AWS

今日、AWSの新機能OpsWorksがリリースされました。 リリースノートや機能説明は http://aws.typepad.com/aws_japan/2013/02/aws-opsworks-flexible-application-management-in-the-cloud.html https://aws.amazon.com/jp/opsworks/ http://www.allthingsdist…

AWS勉強会 at cookpadで話しました

AWS

先日、AWSでサービスを動かす 〜クラウドの中のサービスはAWSをどう使っているのか〜 | クックパッド開発者ブログでInternal ELBを使った負荷分散・冗長化について話しました。その時のスライドは、こちらです。 Loadbalance using internal_elb from Yutaka…

ElastiCacheとELBとtwemproxy その2

以前、 http://d.conma.me/entry/2013/01/22/195331 のエントリで、Internal ELB + twemproxy + ElastiCacheの構成で、スループットが劇的に低下してしまう問題について書きましたが、その後色々と調査をしてみました。 Internal ELBのウォームアップを行い…

Amazon Elastic Transcoderを使ってみた

AWS

今日、AWSからAmazon Elastic Transcoderが発表されました。 簡単に言うと、AWS上で動画のエンコードを行えるソリューションです。動画エンコードもクラウドで行える時代ですね。 しかも、エンコードの時間ではなく、元動画の時間で課金がされます。また、Pi…

ElastiCacheとELBとtwemproxy

redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。 これは、redis / me…

AWS ElastiCache と twemproxyを使ってみた

AWS

このエントリの最後の方で書いてあるtwemproxyの変更ですが、pull requestを出して、本体にマージされました。2012/12/31時点でまだリリースバージョンが切られていないので、githubからcloneしてビルドして下さい。 先日のAWSの発表で、VPCにもElastiCache…

VCAPをCentOS6に対応させるべく奮闘中

CloudFoundryのOSS版であるvcapは現在Ubuntuにしか対応しておらず(Ubuntuでもバージョンによっては動かず)、CentOSなどのRH系のOSには対応していません。 CentOS6で動かす必要が出来たので、粛々と対応させるべく作業をしています。想像以上に苦戦していて時…

Cloud Foundry multinodeをAWS VPCで構築する

Cloud Foundryは、VMware社が提供するPaaSです。 http://www.cloudfoundry.com/ でBETA版が無料で提供されています。 Cloud Foundryを使うには、cloudfoundry.comに登録して、そちらにデプロイする方法もありますが、オープンソースでCloud Foundryの環境が…

MySQLとInternal ELB

AWS

VPC上でInternal ELBが提供され、slave群をInternal ELB配下に置くことで、slaveサーバの冗長化が出来るようになりました。 そこで、ELB配下に配置した際のパフォーマンスの劣化と注意点を見つけるためにパフォーマンス測定をしてみました。 色々 DB: とある…

Amazon VPCにVyattaを使ってVPN接続をしてみた

Amazon AWSで提供されている、VPCというサービスがあります。VPCは公開用のPublic SubnetとPrivate Subnetの2つを作成することが出来、VPN接続もサポートしているため、AWS上に簡易的なDCの様なものを作成でき、VPNを使って会社やDCと繋ぐことが可能になって…