Въведение в Google Cloud Storage с Java

1. Общ преглед

Google Cloud Storage предлага онлайн хранилище, съобразено с нуждите на отделното приложение въз основа на местоположението, честотата на достъп и разходите. За разлика от Amazon Web Services, Google Cloud Storage използва един API за високо, средно и нискочестотен достъп.

Подобно на повечето облачни платформи, Google предлага безплатен достъп до ниво; подробностите за цените са тук.

В този урок ще се свържем със хранилището, ще създадем група, ще напишем, прочетем и актуализираме данни. Докато използваме API за четене и запис на данни, ще използваме и помощната програма за съхранение в облак gsutil .

2. Настройка на Google Cloud Storage

2.1. Зависимост на Maven

Трябва да добавим една зависимост към нашия pom.xml :

 com.google.cloud google-cloud-storage 1.17.0 

Maven Central разполага с най-новата версия на библиотеката.

2.2. Създайте ключ за удостоверяване

Преди да можем да се свържем с Google Cloud, трябва да конфигурираме удостоверяване. Приложенията на Google Cloud Platform (GCP) зареждат частен ключ и информация за конфигурацията от JSON конфигурационен файл. Генерираме този файл чрез GCP конзолата. Достъпът до конзолата изисква валиден акаунт в Google Cloud Platform.

Ние създаваме нашата конфигурация чрез:

  1. Отидете до конзолата на Google Cloud Platform
  2. Ако все още не сме дефинирали проект на GCP, щракваме върху бутона за създаване и въвеждаме име на проект, например „ baeldung-cloud-tutorial
  3. Изберете „ нов акаунт за услуга “ от падащия списък
  4. Добавете име като „ baeldung-cloud-storage “ в полето за име на акаунт.
  5. Под „ роля “ изберете Проект и след това Собственик в подменюто.
  6. Изберете създаване и конзолата изтегля файл с частен ключ.

Ролята в стъпка 6 упълномощава акаунта за достъп до ресурсите на проекта. За по-голяма простота предоставихме на този акаунт пълен достъп до всички ресурси на проекта.

За производствена среда бихме определили роля, която съответства на достъпа, от който се нуждае приложението.

2.3. Инсталирайте ключа за удостоверяване

След това копираме файла, изтеглен от конзолата на GCP, на удобно място и насочваме към него променливата на средата GOOGLE_APPLICATION_CREDENTIALS . Това е най-лесният начин за зареждане на идентификационните данни, въпреки че ще разгледаме друга възможност по-долу.

За Linux или Mac:

export GOOGLE_APPLICATION_CREDENTIALS="/path/to/file"

За Windows:

set GOOGLE_APPLICATION_CREDENTIALS="C:\path\to\file"

2.4. Инсталирайте Cloud Tools

Google предоставя няколко инструмента за управление на тяхната облачна платформа. Ще използваме gsutil по време на този урок, за да четем и записваме данни заедно с API.

Можем да направим това в две лесни стъпки:

  1. Инсталирайте Cloud SDK от инструкциите тук за нашата платформа.
  2. Следвайте Quickstart за нашата платформа тук. В стъпка 4 от Инициализиране на SDK , ние избираме името на проекта в стъпка 4 от раздел 2.2 по-горе („ baeldung-cloud-storage “ или което и име да сте използвали).

gsutil вече е инсталиран и конфигуриран да чете данни от нашия облачен проект.

3. Свързване към хранилището и създаване на сегмент

3.1. Свържете се със хранилището

Before we can use Google Cloud storage, we have to create a service object. If we've already set up the GOOGLE_APPLICATION_CREDENTIALS environment variable, we can use the default instance:

Storage storage = StorageOptions.getDefaultInstance().getService(); 

If we don't want to use the environment variable, we have to create a Credentials instance and pass it to Storage with the project name:

Credentials credentials = GoogleCredentials .fromStream(new FileInputStream("path/to/file")); Storage storage = StorageOptions.newBuilder().setCredentials(credentials) .setProjectId("baeldung-cloud-tutorial").build().getService(); 

3.2. Creating a Bucket

Now that we're connected and authenticated, we can create a bucket. Buckets are containers that hold objects. They can be used to organize and control data access.

There is no limit to the number of objects in a bucket. GCP limits the numbers of operations on buckets and encourages application designers to emphasize operations on objects rather than on buckets.

Creating a bucket requires a BucketInfo:

Bucket bucket = storage.create(BucketInfo.of("baeldung-bucket")); 

For this simple example, we a bucket name and accept the default properties. Bucket names must beglobally unique. If we choose a name that is already used, create() will fail.

3.3. Examing a Bucket With gsutil

Since we have a bucket now, we can take a examine it with gsutil.

Let's open a command prompt and take a look:

$ gsutil ls -L -b gs://baeldung-1-bucket/ gs://baeldung-1-bucket/ : Storage class: STANDARD Location constraint: US Versioning enabled: None Logging configuration: None Website configuration: None CORS configuration: None Lifecycle configuration: None Requester Pays enabled: None Labels: None Time created: Sun, 11 Feb 2018 21:09:15 GMT Time updated: Sun, 11 Feb 2018 21:09:15 GMT Metageneration: 1 ACL: [ { "entity": "project-owners-385323156907", "projectTeam": { "projectNumber": "385323156907", "team": "owners" }, "role": "OWNER" }, ... ] Default ACL: [ { "entity": "project-owners-385323156907", "projectTeam": { "projectNumber": "385323156907", "team": "owners" }, "role": "OWNER" }, ... ]

gsutil looks a lot like shell commands, and anyone familiar with the Unix command line should feel very comfortable here. Notice we passed in the path to our bucket as a URL: gs://baeldung-1-bucket/, along with a few other options.

The ls option produces a listing or objects or buckets, and the -L option indicated that we want a detailed listing – so we received details about the bucket including the creation times and access controls.

Let's add some data to our bucket!

4. Reading, Writing and Updating Data

In Google Cloud Storage, objects are stored in Blobs; Blob names can contain any Unicode character, limited to 1024 characters.

4.1. Writing Data

Let's save a String to our bucket:

String value = "Hello, World!"; byte[] bytes = value.getBytes(UTF_8); Blob blob = bucket.create("my-first-blob", bytes); 

As you can see, objects are simply arrays of bytes in the bucket, so we store a String by simply operating with its raw bytes.

4.2. Reading Data with gsutil

Now that we have a bucket with an object in it, let's take a look at gsutil.

Let's start by listing the contents of our bucket:

$ gsutil ls gs://baeldung-1-bucket/ gs://baeldung-1-bucket/my-first-blob

We passed gsutil the ls option again but omitted -b and -L, so we asked for a brief listing of objects. We receive a list of URIs for each object, which is one in our case.

Let's examine the object:

$ gsutil cat gs://baeldung-1-bucket/my-first-blob Hello World!

Cat concatenates the contents of the object to standard output. We see the String we wrote to the Blob.

4.3. Reading Data

Blobs are assigned a BlobId upon creation.

The easiest way to retrieve a Blob is with the BlobId:

Blob blob = storage.get(blobId); String value = new String(blob.getContent()); 

We pass the id to Storage and get the Blob in return, and getContent() returns the bytes.

If we don't have the BlobId, we can search the Bucket by name:

Page blobs = bucket.list(); for (Blob blob: blobs.getValues()) { if (name.equals(blob.getName())) { return new String(blob.getContent()); } }

4.4. Updating Data

We can update a Blob by retrieving it and then accessing its WriteableByteChannel:

String newString = "Bye now!"; Blob blob = storage.get(blobId); WritableByteChannel channel = blob.writer(); channel.write(ByteBuffer.wrap(newString.getBytes(UTF_8))); channel.close();

Let's examine the updated object:

$ gsutil cat gs://baeldung-1-bucket/my-first-blob Bye now!

4.5. Save an Object to File, Then Delete

Let's save the updated the object to a file:

$ gsutil copy gs://baeldung-1-bucket/my-first-blob my-first-blob Copying gs://baeldung-1-bucket/my-first-blob... / [1 files][ 9.0 B/ 9.0 B] Operation completed over 1 objects/9.0 B. Grovers-Mill:~ egoebelbecker$ cat my-first-blob Bye now!

As expected, the copy option copies the object to the filename specified on the command line.

gsutil can copy any object from Google Cloud Storage to the local file system, assuming there is enough space to store it.

We'll finish by cleaning up:

$ gsutil rm gs://baeldung-1-bucket/my-first-blob Removing gs://baeldung-1-bucket/my-first-blob... / [1 objects] Operation completed over 1 objects. $ gsutil ls gs://baeldung-1-bucket/ $

rm ( del също работи) изтрива посочения обект

5. Заключение

В този кратък урок създадохме идентификационни данни за Google Cloud Storage и се свързахме с инфраструктурата. Създадохме група, записахме данни и след това я прочетохме и променихме. Докато работим с приложния програмен интерфейс (API), ние също използвахме gsutil, за да изследваме хранилището в облак, докато създавахме и четяхме данни.

Също така обсъдихме как да използваме групи и да пишем и модифицираме данни ефективно.

Примери за кодове, както винаги, можете да намерите в GitHub.