Op welke Gemini- en Google AI-functies wachten we?

Het afgelopen jaar heeft Google een voorbeeld gegeven van een aantal AI-functies van het Gemini-merk in zijn consumentgerichte apps. Hier vindt u alles wat er is aangekondigd en wanneer het mogelijk beschikbaar is.

pixel

Aan het einde van Made by Google 2023 werd een Zoom Enhance-functie geplaagd die “op intelligente wijze gaten tussen pixels opvult en fijne details voorspelt” voor de Pixel 8 Pro. Door gebruik te maken van het ‘aangepaste generatieve AI-beeldmodel’ op het apparaat, noemde Google dit nuttig als je vergeet in te zoomen.

Het is een geweldige toepassing van generatieve AI, die een groot aantal mogelijkheden biedt voor het inlijsten en bewerken van foto's. Dus het soort zoomlens dat je gewend bent te zien in sciencefiction, zit gewoon in de telefoon in je handen.

In oktober zei Google dat deze functie ‘later komt’. Na de lancering van drie nieuwe functies voor de Pixel-telefoon is de functie nog niet gearriveerd. Het is niet duidelijk of het model waar Google op doelt de Gemini Nano met Multimodality is. Op dit moment zou deze functie zijn debuut kunnen maken met de Pixel 9 Pro als de belangrijkste fotografiefunctie van deze telefoon.

Google Huis

In de Google Home-app zal generatieve AI worden gebruikt om gebeurtenissen samen te vatten in een ‘vereenvoudigd beeld van wat er onlangs is gebeurd’. Deze “snelle en gemakkelijke samenvatting” maakt gebruik van opsommingstekens, terwijl u ook in gesprek “Vraag naar uw huis” kunt doen om fragmenten uit de videogeschiedenis te vinden en automatiseringen te verkrijgen. 'Bètafuncties' zullen in 2024 beschikbaar zijn voor Nest Aware-abonnees.

Fitbit

Met Fitbit Labs kunnen Fitbit Premium-gebruikers experimentele AI-mogelijkheden testen en feedback geven.

Een van deze functies is een chatbot waarmee je op een natuurlijke, gemoedelijke manier vragen kunt stellen over je Fitbit-gegevens. Deze ‘gepersonaliseerde coaching’ met fitnessdoelen in gedachten is bedoeld om ‘bruikbare berichten en begeleiding’ te genereren, met antwoorden die gepersonaliseerde blauwdrukken kunnen bevatten.

• “Je kunt bijvoorbeeld dieper ingaan op het aantal actieve zoneminuten (AZM's) dat je krijgt en hoe deze zich verhouden tot hoe goed je herstelt uit de slaap.”
• “Dit model kan mogelijk verschillen in uw slaappatroon en slaapkwaliteit analyseren en vervolgens aanbevelingen doen over hoe u de trainingsintensiteit kunt veranderen op basis van die inzichten.”

Achter de schermen wordt deze app mogelijk gemaakt door Fitbit en de nieuwe Personal Health LLM-software van Google Research, gebouwd bovenop Gemini. Vanaf maart wordt het “later dit jaar” gelanceerd voor “een beperkt aantal Android-gebruikers die zijn ingeschreven voor het Fitbit Labs-programma in de mobiele Fitbit-app.”

Google Afbeeldingen

Met de functie Foto's vragen kunt u vragen stellen over foto's en video's in uw bibliotheek. In tegenstelling tot het zoeken naar afbeeldingen, kan het informatie extraheren en u een tekstantwoord geven. Door Gemini aangedreven zoekopdrachten zijn onder meer 'Laat me de beste foto zien van elk nationaal park waar je bent geweest' en 'Welke thema's hebben we besproken op Lena's verjaardagsfeestjes?' Ze kunnen worden gebruikt om “de beste foto’s voor te stellen” en er bijschriften voor te maken. Ask Photos is een ‘bètafunctie’ die binnenkort wordt gelanceerd, waarbij Google al hint op meer mogelijkheden in de toekomst.

Gmail + Google Werkruimte

In Gmail voor Android en iOS vind je in de rechterbovenhoek een Gemini-knop waarmee je het mobiele equivalent van het zijpaneel kunt openen voor het invoeren van volledige aanwijzingen. Gmail krijgt ook contextuele slimme antwoorden die meer gepersonaliseerde, gedetailleerde en nauwkeurige suggesties bieden. Deze wordt in juli uitgebracht in Workspace Labs.

Tijdens Cloud Next 2024 in april gaf Google ook een voorbeeld van een mogelijkheid voor gesproken aanwijzingen waarmee ik Gmail voor mobiel kan typen. Ondertussen verandert de Instant Polish-functie “ruwe aantekeningen met één klik in een volledige e-mail.”

Op het desktopweb is het zijpaneel beschikbaar in Gmail, Google Drive en Docs/Sheets/Slide. Gemini komt dan naar Google Chat om gesprekken samen te vatten en vragen te beantwoorden.

Google Maps

Afgelopen februari kondigde Google aan dat Maps LLM's zou gebruiken om zijn 'Ask About'-chatbot aan te sturen. U kunt het gebruiken om plaatsen te vinden die overeenkomen met uw claim, met ondersteunende vervolgvragen. Het wordt mogelijk gemaakt door details over 250 miljoen plaatsen, foto's, video's en recensies die door gebruikers zijn ingediend.

Chroom

Gemini Nano komt naar de Chrome-desktopbrowser om browserfuncties zoals Help Me Typen te ondersteunen. Het zou beschikbaar moeten zijn op de meeste moderne laptops en desktops.

Google zoeken

Samen met de lancering van AI Overviews heeft Google een voorproefje gegeven van een aantal aankomende functies die voor het eerst naar Search Labs komen:

• U kunt het originele AI-overzicht nemen en het “eenvoudiger” maken (slechts een paar zinnen) of het “opsplitsen” (langere reactie).
• Dankzij de mogelijkheid om in meerdere stappen te redeneren, kunt u een complexe vraag in één stap stellen, in plaats van deze in meerdere vragen op te splitsen.
• Maaltijd- en reisplanning
• AI-georganiseerde zoekresultatenpagina
• Videozoekopdrachten: neem een ​​video op en stel er een vraag over

Android

De Gemini Nano wordt “later dit jaar” gelanceerd met Multimodality op de Pixel en krachtige functies zoals TalkBack-beschrijvingen op het apparaat/offline en realtime fraudewaarschuwingen die luisteren naar een roep om veelbetekenende patronen. Google zal later dit jaar meer details delen.

Op I/O 2024 liet Google ook zien hoe Gemini op Android binnenkort een overlaypaneel zal worden in plaats van een gebruikersinterface op volledig scherm te openen om resultaten weer te geven. Naast het behoud van de context, kunt u hierdoor de gegenereerde afbeelding naar het gesprek slepen en neerzetten. Voor Gemini Advanced-abonnees kunnen de knoppen “Vraag deze video” en “Vraag deze PDF” respectievelijk Gemini-video's en -documenten bekijken. Dit zal “in de komende maanden” worden uitgerold. Bovendien gebruikt u de dynamische suggesties van Gemini Nano met multimedia om te begrijpen wat er op uw scherm staat:

Als je Gemini bijvoorbeeld betrekt in een gesprek over pickleball, kunnen suggesties zijn: 'Vind pickleballclubs bij mij in de buurt' en 'Pickleball-regels voor beginners'.

Een andere toevoeging die vooral handig zal zijn op mobiele apparaten zijn de Gemini-extensies voor Google Agenda, Google Taken en Keep. Met deze add-on kunt u een foto maken van een pagina met meerdere aankomende data, en Gemini kan deze omzetten in agenda-evenementen. In de komende maanden zal de functie “Hulpprogramma's” van de mobiele Gemini-app toegang geven tot de Klok-app op Android.

We wachten ook op de komst van de mobiele telefoon Gemini deze zomer op de Pixel Tablet.

tweeling

Met de Live-app kunt u een tweerichtingsgesprek voeren met uw Gemini. Om de ervaring natuurlijker te maken, stuurt de Gemini-app u korte antwoorden die u kunt onderbreken om nieuwe informatie toe te voegen of om opheldering te vragen. Je kunt kiezen uit 10 verschillende stemmen, waarbij Google zich de Gemini Live-app voorstelt die handig is voor het voorbereiden van een interview of het oefenen van het houden van een toespraak. Het zal in de “komende maanden” beschikbaar zijn voor Gemini Advanced-leden.

“Later dit jaar” laat Gemini Live je de live cameramodus inschakelen. Wijs eenvoudigweg naar iets in de echte wereld en stel er een vraag over. Dit wordt gerund door Project Astra.

Edelstenen zijn aangepaste versies van Gemini waarmee je een ‘gymmaatje, souschef, programmeerpartner of mentor voor creatief schrijven’ kunt hebben. Gemini Advanced-leden kunnen aangepaste edelstenen maken, terwijl alle gebruikers toegang hebben tot kant-en-klare edelstenen, zoals de Leercoach.

Beschrijf gewoon wat je wilt dat je Gem doet en hoe je wilt dat hij/zij reageert – zoals: “Jij bent mijn hardloopcoach, geef me een dagelijks hardloopplan en wees positief, vrolijk en gemotiveerd.” Gemini zal deze instructies opvolgen en ze met één klik optimaliseren om een ​​juweel te creëren dat aan uw specifieke behoeften voldoet.

Gemini Advanced-gebruikers krijgen ook een “uitgebreide planner” die verder gaat dan alleen het voorstellen van activiteiten, maar die rekening houdt met reistijden en tussenstops, evenals met de interesses van mensen, om een ​​gedetailleerd reisschema te creëren. Gemini gebruikt uw Gmail-vlucht-/reisgegevens, Google Maps-aanbevelingen voor eten en musea in de buurt van uw hotel, en zoekt naar andere activiteiten.