読者です 読者をやめる 読者になる 読者になる

まめ畑

ゆるゆると書いていきます

Secure AWS Users Meetup #1に行ってきた

AWS上でのセキュリティの現場の声が聞ける、Secure AWS Users Meetup #1に参加してきました。 http://connpass.com/event/11019/ セキュリティというところで、現場のシビアな実情が垣間見えて非常に参考になりました。セキュリティを日々どう守るかとかAWS…

VyOS Users Meeting Japan #2 に行ってきた

http://vyosjp.connpass.com/event/9667/ に参加してきました。今回は、vyos/build-ami をメンテナンスしている trickv さんが上海から来日されたということで開催されました。 VyOSについてはこちら: http://vyos.net/wiki/Main_Page メインセッション VyOS…

AWS Casual Talks#3に参加した

AWS

AWS Casula Tlaks#3に参加してきました。AWS Casual Talks #3 on Zusaar 2回目までは主催していたのですが、今回から主催をCookpadの星君に移して初めての開催でしたが、過去を超えてくる濃い・本気の内容ですごく良かったです。色々忙しい中ありがとうござ…

S3とCORS

最近、AWSのサービスも少し様変わりしてきて、インフラレイヤーから、アプリレイヤーまで幅広くサービスが出てきています。SDKも充実してきていて、デバイスやブラウザから直接AWSサービスにアクセスして、S3にデータをUploadしたり、DynamoDBにデータを入れ…

T2インスタンスがでたので簡単に性能をみてみた

AWS

昨日、EC2の新instance familyでT2シリーズが出ました。 今まで、t1.micro/m1.smallとか言われてたシリーズの現行版で、General Purposeにカテゴリも変更されています。リリースは以下の記事 http://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instan…

JAWS DAYS 2014で「これで最強のAWSに」のセッションをやりました

AWS

JAWS DAYS 2014のセッションとして、これで最強のAWSにというセッションをやりました。 Twitterなどの反応はこちらに2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS - Togetterまとめ まとめて頂いています。各セッショ…

気軽なMySQLバージョンアップ

このエントリーはMySQL Casual Advent Calendar 2013 10日目の記事です。カジュアル! このへんでそろっとカジュアル詐欺と言われるのを防止するために、カジュアルな話を書いてみました。MySQL5.6も正式リリースされてもうすぐ1年経ち、5.7の足音も聞こえて…

AWS Casual Talks#1を開催しました

AWS

AWS Casual Talks#1を開催しました。 参加登録自体は15分程で枠が埋まってしまい、最終的に210人の方に登録を頂きました。 発表して頂いた方、参加頂いた方ありがとうございました!アンケートも多く集まり次回開催の参考にしようと思います。 AWS Casual Ta…

EC2・オンプレ環境のMySQLからRDSのマイグレーションがやりやすくなった

本日 Migrate On-Premises MySQL Data to Amazon RDS (and back) | AWS Official Blog Importing Data to an Amazon RDS MySQL DB Instance with Reduced Downtime - Amazon Relational Database Service の発表があり、RDSに対して、オンプレミス環境・EC2…

ElastiCache Redis Engineのベンチマークともろもろ

Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the C…

Redshiftのことを話してきました

先日、cloudpack Night #7 - A New Hope - on ZusaarでRedshiftの話をしてきました。今回のcloudpack nightは各社若手新卒のLTの初々しい感じで始まって、懇親会までAWSの深い話が続いていました。そこで、Redshiftの利用事例を話してきました。 会場にはRed…

RedshiftのIAM PolicyとWLM

先日、Redshiftの管理面 - まめ畑 でRedshiftの管理周りをざっくり書いたのですが、その中でIAM Policyの事も書いていました。今日、IAM Policyの「Redshift readonly access」ではManagement ConsoleでQuery情報が取得できなくなっていました。Query情報は …

Redshiftのworkload management

Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエ…

RDSがMySQL5.6対応したのでベンチマークをとってみた

先日 Amazon Web Services Blog: MySQL 5.6 Support for Amazon RDS で、RDSがMySQL5.6対応(現在は5.6.12が最新)したということで簡単にベンチマークをかけてみました。RDSはメジャーバージョンアップが簡単に出来るようになりましたが、5.6へのUpgradeはま…

急なアクセスをCloudFrontに逃がす(案)

ほっとんど用途ないですが、こういうやり方もあるという程度のメモ。急激なアクセス増加が見込まれる場合、BlogなどはS3に静的ファイルを配置して、S3直接もしくはCloudFront経由で配信することが有用ですが、都度S3にUploadする必要があります。 また、Clou…

Redshiftの管理面

最近Redshiftの需要が高まっていますが、管理面のことをあまりみないので、簡単にまとめておきます。ドキュメントは Amazon Redshift 接続するには postgresqlクライアントを使います JDBCで接続する場合のdriverは: http://jdbc.postgresql.org/download/po…

S3のStatic WebSite Hostingでエラー時にリダイレクト

S3のStatic WebSite Hostingは静的ファイルをホストするにはとても便利な機能です。 S3のバケットにたいして、Static WebSite Hostingを有効にして、バケットポリシーで全公開するだけで、Webサーバなどを用意することなくサイトが公開出来ます。 S3のアクセ…

AWS Summit Tokyo2013でLTしてきました

AWS

AWS Summit Tokyo2013 2日間フルで参加して来ました。 Techセッションばかり出ていたのですが、会場も立ち見が出るくらいの盛況で、改めて、AWSへの関心の高さを感じました。 HPCインスタンスやRedshiftのTokyoリージョンでのサービスインも発表されて、中々…

Route53のHealth CheckターゲットをELBで試してみた

先日、Amazon Web Services Blog: Amazon Route 53 Adds ELB Integration for DNS Failover で、Route53のHealth CheckターゲットにELBが指定できるようになりました。今までも、Route53にはHealth Check機能がありましたが、ELBはHealth Checkターゲットに…

今一度Provisoed IOPS EBSのベンチをとってみた

AWS

4,000IOPS EBSのベンチをとってみた - まめ畑 の記事で4,000IOPS EBSのベンチマークを簡単にとってみました。他の高IOPS EBSと比較するとどうだろうということで、久しぶりにベンチマークをとってみました。 IOPSはBlock Size 16kでの性能ということになって…

4,000IOPS EBSのベンチをとってみた

今日、Amazon Web Services Blog: Provision Up to 4,000 IOPS per EBS Volume, New Marketplace Supportで発表があったとおり、EBSで設定できるIOPSが4,000IOPSまで、Disk容量も1TBまで使えるようになりました。 今までは、2,000IOPSが最大値でしたが、2倍…

MySQL5.6のちょっとした話

最近、とあるサービスの本番環境にMySQL5.6を導入していっています。社内だけの環境も含めて5システムに導入しました。 5.5からのアップデートや最初から5.6というものもあります。 今回、導入で変わった点いろいろありますが、メモ程度にまとめておきます。…

EC2で同じECUだけどCPUは違う

AWS

AWSのEC2ではインスタンスのCPU性能をECUという単位で表します。 知られているとは思いますが、ECUが同じだからといって性能が同じとは限りません。ここ最近、その例が実運用の環境で顕著に出ていたので書いておきます。 とある、数千qpsを受け付けている、D…

redisをAutoScaling環境で使う場合はtimeoutの設定に注意

Redisをstorageやcacheとして使う事が多くなってきたのですが、普段使っている分にはさほど問題なかったものがautoscaleなどの頻繁なインスタンスの増減がある環境でtimeoutを上手く設定していないと問題が出る場面に遭遇したのでメモしておきます。Redisのt…

VPC内のインスタンスからメールを送る

AWSには、SESというメールを簡単に送信出来るサービスがありますが、ケータイキャリア向けに最適化して送りたいとか、送信前に色々やりたい、送信したメールの情報を取っておきたいなどなどで、自前のメールサーバからメールを送信したいという要望はあると…

Amazon RDSで3TB 30,000IOPSのディスクが使えるようになった

Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能に 今日から、RDSで使えるディスクの上限が3TB / 30,000IOPSまで引き上げられました。サイズや性能上限の引き上げの他にも、標準ストレージからIOPSス…

MySQL5.5 と MySQL5.6 と RDS

MySQL5.6は5.5よりもベンチマーク性能が落ちるという話がここ最近見受けられます。 My MySQL is faster than your MySQL Is MySQL 5.6 slower than MySQL 5.5? MySQL5.6の検証は半年程前から本格的に開始して、大量データに対して、JOINやLIMIT、INDEXが不十…

OpsWorksを触ってみた

AWS

今日、AWSの新機能OpsWorksがリリースされました。 リリースノートや機能説明は http://aws.typepad.com/aws_japan/2013/02/aws-opsworks-flexible-application-management-in-the-cloud.html https://aws.amazon.com/jp/opsworks/ http://www.allthingsdist…

AWS勉強会 at cookpadで話しました

AWS

先日、AWSでサービスを動かす 〜クラウドの中のサービスはAWSをどう使っているのか〜 | クックパッド開発者ブログでInternal ELBを使った負荷分散・冗長化について話しました。その時のスライドは、こちらです。 Loadbalance using internal_elb from Yutaka…

ElastiCacheとELBとtwemproxy その2

以前、 http://d.conma.me/entry/2013/01/22/195331 のエントリで、Internal ELB + twemproxy + ElastiCacheの構成で、スループットが劇的に低下してしまう問題について書きましたが、その後色々と調査をしてみました。 Internal ELBのウォームアップを行い…

Amazon Elastic Transcoderを使ってみた

AWS

今日、AWSからAmazon Elastic Transcoderが発表されました。 簡単に言うと、AWS上で動画のエンコードを行えるソリューションです。動画エンコードもクラウドで行える時代ですね。 しかも、エンコードの時間ではなく、元動画の時間で課金がされます。また、Pi…

ElastiCacheとELBとtwemproxy

redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。 これは、redis / me…

AWS ElastiCache と twemproxyを使ってみた

AWS

このエントリの最後の方で書いてあるtwemproxyの変更ですが、pull requestを出して、本体にマージされました。2012/12/31時点でまだリリースバージョンが切られていないので、githubからcloneしてビルドして下さい。 先日のAWSの発表で、VPCにもElastiCache…

Kageを使う時にやっておくと便利なこと

先ほど、Kageというgemが公開されました。 https://rubygems.org/gems/kage https://github.com/cookpad/kage このgemは、クライアントからのリクエストを複製し、バックエンドの複数のサーバに同じリクエストを送る事が出来ます。これを使うことで、これか…

VCAPをCentOS6に対応させるべく奮闘中

CloudFoundryのOSS版であるvcapは現在Ubuntuにしか対応しておらず(Ubuntuでもバージョンによっては動かず)、CentOSなどのRH系のOSには対応していません。 CentOS6で動かす必要が出来たので、粛々と対応させるべく作業をしています。想像以上に苦戦していて時…

Cloud Foundry multinodeをAWS VPCで構築する

Cloud Foundryは、VMware社が提供するPaaSです。 http://www.cloudfoundry.com/ でBETA版が無料で提供されています。 Cloud Foundryを使うには、cloudfoundry.comに登録して、そちらにデプロイする方法もありますが、オープンソースでCloud Foundryの環境が…

ニコニコ静画(電子書籍)で上手く表示されない時は

ニコニコ静画(電子書籍) でChrome内蔵のFlash Playerを使っていると上手く表示されなかったりするので、その解決法。 http://get.adobe.com/jp/flashplayer/ からFlash PlayerをDLします Chromeでアクセスすると、このようなページが表示されますが、「別の…

MySQLとInternal ELB

AWS

VPC上でInternal ELBが提供され、slave群をInternal ELB配下に置くことで、slaveサーバの冗長化が出来るようになりました。 そこで、ELB配下に配置した際のパフォーマンスの劣化と注意点を見つけるためにパフォーマンス測定をしてみました。 色々 DB: とある…

Amazon VPCにVyattaを使ってVPN接続をしてみた

Amazon AWSで提供されている、VPCというサービスがあります。VPCは公開用のPublic SubnetとPrivate Subnetの2つを作成することが出来、VPN接続もサポートしているため、AWS上に簡易的なDCの様なものを作成でき、VPNを使って会社やDCと繋ぐことが可能になって…

FUSION IP-Phone SMARTをMacで使う

Mac

月額基本料無料でIP電話の番号を貰えて、通話料金も同じサービス同士の通話なら無料、それ以外の電話にかけた場合でも30秒 8.4円というFUSION IP-Phone SMART というサービスが始まったので試してみました。 注意としては以下の番号に発信が出来ません。 海…

クックパッド株式会社に入社しました

4月16日に、クックパッド株式会社に入社しました。 入社して2週間過ぎましたが、本当に優秀な方々に囲まれて仕事をしています。 思ってた以上にスピードが早い環境でワクワクしています。 まだまだ、システムを把握する事で精一杯ですが、目標も決まり徐々に…

回文

何やら回分が流行ってるのでこんなの書いてみた。https://gist.github.com/2500991 # -*- coding:utf-8 -*- class String def kaibun self + self[0..-2].reverse end end puts "こんまめ".kaibun ただこれだけ。 https://rubygems.org/gems/kaibun gemも作…

株式会社ドワンゴを退職しました

正確には、29日が最終出社日で有給消化に入り、4月15日付で株式会社ドワンゴを退職することになりました。 4月16日より、新しい会社にお世話になることになっています。 ドワンゴには2010年4月に新卒で入社し、約2年サーバ・インフラエンジニアとして、時に…

Coderewallのgem作った

最近、Coderwallをやっているのですが、個人のバッジ取得状況などを取得出来るAPIがあったので、個人成績を取得するgemを作ってみました。https://rubygems.org/gems/coderwallerです。まだまだ改良の余地ありなので直すと共にチーム成績も取れるようにする…

rvmで入れたRubyとVimのビルド

homebrewでVimを入れて、Upgradeしようとしたら、Vimのmakeで以下のエラーを出してコケたので解決方法をメモ。 ld: library not found for -lruby.1.9.1 collect2: ld returned 1 exit status make[1]: *** [vim] Error 1 make: *** [first] Error 2 ==> Bui…

homebrewのupdateが失敗した時

いつものように、brew updateを実行したところ、 #brew update error: The following untracked working tree files would be overwritten by merge: Library/Aliases/fastcgi Library/Formula/ape.rb Library/Formula/apollo.rb Library/Formula/arp-scan.r…

eacceleratorとgraceful restart

PHP5.3.8とeaccelerator0.9.6.1の組み合わせで使ってる際に起こったこと。 httpdをgraceful restartとすると、eacceleratorのキャッシュにhitしたタイミングで、Segmentation faultを出してPHPが落ちてしまう。当然、処理が中途半端なところで終わるので、ht…

PS VITAのSIMが認識されなくなったら

今日、PS VITAを起動したら、いつも「DOCOMO」と表示される場所に、「SIMなし」と表示されていて、再起動やSIMの抜き差し(電源OFFで!)をしても、全く改善されなかったので、サポートに問い合わせたりなんなりしました。 結局、解決したのですが、サポートも…

今更だけども

今更感がものすごくありますが、今月8日、ニコニコ静画(電子書籍)がリリースされました。 なんぞそれ?というかたは http://seiga.nicovideo.jp/book/ へ ドワンゴに入社して初の、メインでインフラ担当をしたサービスとなりました。 ニコニコが角川と提携し…

出来た!

やっと招待された! id:hakobe932ありがとう!!!